พระราชวังบางปะอิน เป็นพระราชวังโบราณที่มีมาตั้งแต่สมัยกรุงศรีอยุธยา สร้างขึ้นโดย สมเด็จพระเจ้าปราสาททอง เนื่องจากเป็นสถานที่ประสูติของพระองค์ และเป็นสถานที่ที่ทรงใช้ประทับแรม ของพระมหากษัตริย์แห่งกรุงศรีอยุธยา เพราะเป็นพระราชวังใกล้พระนคร
ตามประวัติ เล่ากันว่า ครั้งสมเด็จพระเอกาทศรถ ยังทรงดำรงพระยศพระมหาอุปราช ขณะที่พระองค์เสด็จประพาสทางชลมารค เรือพระที่นั่งถูกพายุใหญ่พัดจนล่มลง สมเด็จพระเอกาทศรถทรงว่ายน้ำขึ้นไปบน “เกาะบ้านเลน” และขณะที่ประทับอยู่กับชาวบ้าน พระองค์ได้หญิงชาวเกาะนามว่า “อิน” เป็นบาทบริจาริกา ซึ่งต่อมาคนทั่วไปจึงเรียกเกาะนี้ว่า “เกาะบางปะอิน”
เมื่อพระเอกาทศรถเสด็จกลับ พระองค์ทรงพานางอินกลับไปกรุงศรีอยุธยาด้วย ต่อมานางอินได้เป็นพระสนม และมีพระราชโอรส ซึ่งเล่าสืบกันว่า พระราชโอรสพระองค์นั้น คือ สมเด็จพระเจ้าปราสาททอง นั่นเอง