อำเภอหลังสวนตั้งอยู่ทางตอนล่างของจังหวัด มีอาณาเขตติดต่อกับเขตการปกครองข้างเคียงดังต่อไปนี้
ลุ่มน้ำหลังสวนเป็นแหล่งที่มนุษย์เข้ามาอาศัยตั้งถิ่นฐานมาตั้งแต่สมัยก่อนประวัติศาสตร์ โดยเฉพาะที่อำเภอพะโต๊ะได้พบหลักฐานทางโบราณคดีที่สำคัญคือ เครื่องมือหินขัดประเภทขวาน แต่เนื่องจากแม่น้ำหลังสวนเป็นแม่น้ำสายสั้น ๆ และมีที่ราบลุ่มน้อย ชุมชนในบริเวณดังกล่าวจึงไม่อาจจะพัฒนาเป็นชุมชนเกษตรกรรมขนาดใหญ่เหมือนเมืองชุมพร ไชยา นครศรีธรรมราช และพัทลุงได้ บทบาทของเมืองหลังสวนในระยะเริ่มแรกจึงเป็นเพียงชุมชนท่าเรือข้ามคาบมหาสมุทร และหมู่บ้านเกษตรกรรมขนาดเล็ก ดังนั้นจึงต้องตกอยู่ภายใต้การปกครองดูแลของศูนย์อำนาจการปกครองท้องถิ่นที่มีอำนาจมากกว่าคือ เมืองชุมพร ตลอดมา
หลังสวนเป็นหัวเมืองเก่าแก่เมืองหนึ่งในแหลมมลายู เคยได้รับการยกฐานะเป็นหัวเมืองจัตวาขึ้นต่อกรุงเทพมหานครโดยตรงในสมัยต้นรัชกาลที่ 5 ครั้นเมื่อจัดตั้งมณฑลชุมพรในปี พ.ศ. 2439 หลังสวนจึงเป็นจังหวัดหนึ่งของมณฑลชุมพร และภายหลังได้ยุบจังหวัดหลังสวนลงเป็นอำเภอหลังสวนขึ้นกับจังหวัดชุมพร ตั้งแต่วันที่ 1 เมษายน พ.ศ. 2475 ตราบเท่าทุกวันนี้
เนื่องจากหลังสวนเป็นเมืองเก่าแก่เมืองหนึ่งมาตั้งแต่สมัยโบราณ ชื่อที่เรียกจึงยากที่จะหาหลักฐานได้ว่ามีที่มาอย่างไร แต่เนื่องจากหลังสวนมีผลไม้มากจนกลายเป็นสินค้าสำคัญของเมืองนี้ ดังนั้น กระทรวงคมนาคมจึงได้สันนิษฐานในปี พ.ศ. 2459 ว่า คำว่า “หลังสวน“ น่าจะเพี้ยนมากจากคำว่า “รังสวน” หรือ “คลังสวน” ซึ่งหมายถึงแหล่งหรือที่รวมของผลไม้ทุกชนิดนั่นเอง
เมื่อครั้งที่พระยาอุปกิตศิลปสารเดินทางไปตรวจราชการที่เมืองหลังสวน ก็ได้สันนิษฐานเกี่ยวกับที่มาของคำว่า “หลังสวน” ไว้ดังนี้
“…คำว่าหลังสวน จะผิดหรือถูกขอฝากไว้ในที่นี้ด้วยคือ ริมฝั่งทั้งสองของแม่น้ำ ไม่เห็นมีบ้านเรือนอย่างแม่น้ำเรา มีแต่สวนครึ้มทั้งสองฟาก มีแต่ทางขึ้นลงจากแม่น้ำเท่านั้น ถามผู้แจวเรือว่า แถวนี้ไม่มีบ้านดอกหรือ เขาตอบว่า มี แต่อยู่หลังสวนขึ้นไป ภายหลังข้าพเจ้าไปเที่ยวตามบ้านเหล่านั้น ก็ได้เห็นจริงตามที่เขาพูด จึงสันนิษฐานว่า “เมืองหลังสวน” คงมาจากเค้าที่บ้านเมืองอยู่ข้างหลังสวนลึกเข้าไป…”
