วังลดาวัลย์ ตั้งอยู่ติดถนน 3 ด้าน คือ ถนนประชาธิปไตย ถนนลูกหลวงและถนนราชสีมา ปัจจุบันเป็นที่ตั้งของสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ ได้รับรางวัลอาคารอนุรักษ์ดีเด่น ปี พ.ศ. 2525
สร้างขึ้นเมื่อ พ.ศ. 2449 ตามพระราชประสงค์ของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เป็นที่ประทับของสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลฑิฆัมพร กรมหลวงลพบุรีราเมศร์ (ต้นราชสกุลยุคล) เมื่อคราวใกล้จะสำเร็จการศึกษาจากมหาวิทยาลัยเคมบริดจ์ ประเทศอังกฤษ โดยพระราชทานนาม “วังลดาวัลย์” ตามพระนามเดิมของพระเจ้าบรมวงศ์เธอ พระองค์เจ้าลดาวัลย์ กรมหมื่นภูมินทรภักดี ผู้เป็นพระอัยกาของสมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลฑิฆัมพรฯ โดยมีพระสถิตย์นิมานการ เจ้ากรมโยธาธิการ เป็นผู้จัดการเรื่องแปลน ซึ่งขณะนั้นกรมโยธาธิการได้จ้างช่างชาวต่างประเทศออกแบบพระที่นั่ง พระตำหนัก ตำแหน่งและอาคารต่าง ๆ ฉะนั้น ตำหนักหลังนี้คงออกแบบโดยนายช่างชาวต่างประเทศ โดยมีนายจี บรูโน เป็นผู้รับเหมาการก่อสร้าง
สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ายุคลฑิฆัมพร กรมหลวงลพบุรีราเมศร์ เจ้าของวังลดาวัลย์นั้นโปรดการดนตรี นาฏศิลป์ และศิลปะการแสดงแทบทุกแขนง ทำให้วังลดาวัลย์เปรียบเสมือนศูนย์รวมศิลปวัฒนธรรมที่สำคัญแห่งหนึ่ง แต่เมื่อพระองค์สิ้นพระชนม์ลงในวันที่ 2 เมษายน พ.ศ. 2475 วังนี้ตกอยู่ในการดูแลของพระชายา คือ พระเจ้าวรวงศ์เธอ พระองค์เจ้าเฉลิมเขตรมงคล ประจวบกับมีการเปลี่ยนแปลงการปกครองจากระบอบสมบูรณาญาสิทธิราชย์เป็นระบอบประชาธิปไตย ใน พ.ศ. 2475 ทำให้วังลดาวัลย์ถูกทอดทิ้ง
ต่อมาในช่วงสงครามมหาเอเชียบูรพารัฐบาลญี่ปุ่นในขณะนั้นเคยเช่าใช้เป็นหอวัฒนธรรมญี่ปุ่น และเคยใช้เป็นที่พำนักของกองกำลังทหารจากสหประชาชาติ ครั้นในช่วงปลายสงคราม พ.ศ. 2488 สำนักงานทรัพย์สินส่วนพระมหากษัตริย์ ได้ติดต่อขอซื้อวังลดาวัลย์จากพระทายาทเพื่อจะได้ไม่ตกเป็นของต่างชาติ วังลดาวัลย์จึงอยู่ในความดูแลของสำนักงานทรัพย์สินส่วนพระมหากษัตริย์ตั้งแต่นั้นมา
ลักษณะเป็นตำหนักก่ออิฐถือปูน มีความสูง 2 ชั้น ตำหนักชั้นล่างมีเครื่องตกแต่งเป็นแบบฝรั่ง ได้แก่ ประติมากรรมหินอ่อนรูปพระนางมารีและพระบุตร ชานพักบันไดเป็นหน้าต่างติดตาย ตอนบนเป็นช่องแสงโค้งครึ่งวงกลม ตอนล่างติดกระจกสีเป็นลายดอกไม้ ชั้นบนตกแต่งเป็นแบบจีน ได้แก่รูปเขียนที่ชานพักบันได ภายในห้องโถงกลางตั้งชุดรับแขกแบบจีน ห้องพระซึ่งประดิษฐานพระพุทธรูปในตู้ไม้แบบจีน ลงรักปิดทองทั้งตู้ บานตู้เขียนลายเรื่องพระพุทธประวัติที่งดงามมาก มุขด้านทิศตะวันตกเฉียงใต้เป็นหอคอยมีบันไดเวียนขึ้นไปชั้นสาม ซึ่งเป็นหอประดิษฐานพระบรมอัฐิของสมเด็จพระบูรพกษัตริยาธิราชตามแบบฉบับของตำหนักที่สร้างในสมัยรัชกาลที่ 5