ท้องที่อำเภอเกาะช้างเดิมเป็นส่วนหนึ่งของอำเภอแหลมงอบ ทางราชการได้แบ่งพื้นที่การปกครองออกมาตั้งเป็น กิ่งอำเภอเกาะช้าง ตามประกาศกระทรวงมหาดไทยลงวันที่ 31 มีนาคม พ.ศ. 2537 โดยมีผลบังคับตั้งแต่วันที่ 30 เมษายน ปีเดียวกัน และต่อมาได้มีพระราชกฤษฎีกาลงวันที่ 24 สิงหาคม พ.ศ. 2550 ยกฐานะขึ้นเป็น อำเภอเกาะช้าง โดยมีผลบังคับตั้งแต่วันที่ 8 กันยายน ปีเดียวกัน
เกาะช้าง เดิมเป็นเกาะที่ไม่มีชุมชนตั้งถิ่นฐานอยู่อาศัย หากมีความสำคัญในฐานะที่เป็นท่าจอดเรือหลบลมมรสุม เป็นแหล่งเสบียงอาหาร และน้ำจืดโดยเฉพาะบริเวณอ่าวสลักเพชร หรืออ่าวสลัด เป็นที่รู้จักกันดีในหมู่โจรสลัด ชาวจีนไหหลำ และญวน ปัจจุบันบนเกาะช้างมีประชาชนอาศัยอยู่ 8 หมู่บ้าน
ลักษณะภูมิประเทศส่วนใหญ่เป็นเขาสูงมีผาหินสลับซับซ้อนยอดเขาที่สูงที่สุด ได้แก่ เขาสลักเพชร มีความสูง 744 เมตร
สภาพป่าโดยทั่วไปอุดมสมบูรณ์ ส่วนใหญ่เป็นป่าดิบเขา เป็นต้นกำเนิดของต้นน้ำลำธาร ทำให้มีน้ำตกหลายแห่งบนเกาะ ชายหาด และปะการังที่สวยงามอยู่ทางด้านตะวันตกของเกาะ
ช่วงเวลาที่เหมาะสำหรับการท่องเที่ยวของเกาะช้าง จะเริ่มตั้งแต่ตุลาคมไปจนถึงพฤษภาคม จะมีนักท่องเที่ยวชาวต่างชาติมาท่องเที่ยวกันมาก เนื่องจากประเทศทางแถบยุโรปจะเป็นฤดูหนาว ส่วนช่วงมิถุนายนถึงกันยายนจะมีนักท่องเที่ยวชาวต่างชาติมาท่องเที่ยวน้อย โรงแรม รีสอร์ต และที่พักจะลดราคาค่าที่พัก
บริษัท บางกอกแอร์เวย์ จำกัด มีเที่ยวบินระหว่างกรุงเทพฯ-ตราด-กรุงเทพฯ (อยู่ในเขตอำเภอเขาสมิง) ทุกวัน
