เริ่มก่อตั้งเมื่อ พ.ศ. 2440 โดยมีหลวงพรหมสารเป็นนายอำเภอคนแรก เดิมที่ว่าการอำเภอตั่งอยู่ที่ตำบลห้วยท่าช้าง จึงได้ชื่ออำเภอว่า อำเภอห้วยท่าช้าง ต่อมาได้ทำการย้ายที่ว่าการอำเภอห้วยท่าช้างไปตั้งอยู่ ณ ตำบลหัวสะพาน จึงได้มีการเปลี่ยนชื่อเป็น อำเภอหัวสะพาน ต่อมาได้ย้ายที่ว่าการอำเภอมาตั่งอยู่ ณ หมู่บ้านน้อย จึงได้เปลี่ยนชื่อเป็น อำเภอบ้านน้อย และ อำเภอตวันตก(อำเภอตะวันตก)
พุทธศักราช 2444 กระทรวงมหาดไทย ได้จัดระเบียบกรมการอำเภอเมืองเพชรบุรีใหม่ โดยย้ายอำเภอตวันตก (อำเภอตะวันตก) ไปตั้ง ณ บ้านเขาย้อย ตำบลเขาย้อย เรียกชื่อว่า "อำเภอห้วยหลวง"
ในปี พ.ศ. 2446 ได้เปลี่ยนชื่อจากอำเภอห้วยหลวง แขวงเมืองเพชรบุรี เป็น อำเภอเขาย้อย แขวงเมืองเพชรบุรี
ชาวลาวเวียง คือ ชาวลาวที่ถูกกวาดต้อนมาจากเมืองเวียงจันทน์ หลวงพระบาง และจำปาศักดิ์ ในช่วงสงครามตีเมืองเวียงจันทน์ของกองทัพสยาม ตั้งแต่สมัยธนบุรี - ต้นสมัยรัตนโกสินทร์ หลังจากที่ฝ่ายไทยยกทัพไปตีเมืองเวียงจันทน์ จำปาศักดิ์ และหลวงพระบาง
ครอบครัวเชลยชาวลาวเวียงจันทน์ถูกกวาดต้อนเข้ามาไทยในการตีเมืองเวียงจันทน์ครั้งที่ 1 ปีพ.ศ. 2321 จากนั้นถูกกวาดต้อนเข้ามาอีกในการตีเมืองเวียงจันทน์ครั้งที่ 2 ปีพ.ศ. 2335 และถูกกวาดต้อนเข้ามาเป็นครั้งที่ 3 ปีพ.ศ. 2369 - 2371 แต่ในสงครามตีเมืองเวียงจันทน์ครั้งที่ 3 เมื่อปีพ.ศ. 2369 - 2371 กองทัพสยามได้กวาดต้อนผู้คนทั้งหมดในเขตเมืองเวียงจันทน์เข้ามาฝั่งไทย จนเวียงจันทน์ถึงกับเป็นเมืองร้างผู้คน
