อำเภอท่าม่วงตั้งอยู่ทางทิศใต้ของจังหวัด มีอาณาเขตติดต่อกับเขตการปกครองข้างเคียงดังต่อไปนี้
อำเภอท่าม่วงจัดตั้งขึ้นเมื่อปี พ.ศ. 2441 ที่บ้านท่าไม้รวก ตำบลม่วงชุมในปัจจุบัน โดยเริ่มแรกเนื่องจากอำเภอที่ตั้งขึ้นมีอาณาเขตติดต่อกับ "วัดใต้" (วัดมโนธรรมารามในปัจจุบัน) จึงตั้งชื่ออำเภอว่า อำเภอใต้ ต่อมาความเจริญของลำน้ำเปลี่ยนไป ประชาชนอพยพลงมาทางใต้ เพราะบริเวณท่าไม้รวกเดิมเป็นลำน้ำคด ไม่สะดวกในการสัญจรของเรือ แพ จึงย้ายที่ว่าการอำเภอมาตั้งใหม่บริเวณใกล้กับวัดศรีโลหะราษฎร์บำรุง และตั้งชื่ออำเภอใหม่ว่า อำเภอวังขนาย
ต่อมา พระวรภักดิ์พิบูลย์ นายอำเภอสมัยนั้นเห็นว่าอำเภอนี้ควรตั้งชื่อให้สอดคล้องกับความเป็นจริง เพราะอำเภอตั้งอยู่ในเขตพื้นที่ตำบลท่าม่วงและอยู่ท้ายตลาดท่าม่วงซึ่งเป็นตลาดใหญ่ จึงขออนุญาตเปลี่ยนชื่อจากอำเภอวังขนายเป็น อำเภอท่าม่วง ตามชื่อตำบลที่ตั้ง โดยมีผลตั้งแต่ในปี พ.ศ. 2482 จากนั้นในปี พ.ศ. 2489 ได้ย้ายที่ว่าการอำเภอมาอยู่ที่ตั้งปัจจุบัน เนื่องจากอาคารที่ว่าการอำเภอเดิมมีขนาดเล็กคับแคบและชำรุดทรุดโทรม ไม่สามารถขยายได้
