"ปราสาทสีขาว" เป็นเรื่องราวของ "ตรีพิมาย" ผู้มีความทรงจำทั้งแสนหวานและขมขื่นเกี่ยวกับปราสาทหลังนี้... "อิระวะดี" หญิงสาวที่เขาแอบหมายปองต้องตกเป็นของ "เอกรินทร์" พ่อแท้ๆ ซึ่งต้องกลายเป็นพี่บุญธรรมของเขาด้วยเหตุบางอย่าง และเมื่ออิระวะดีเสียชีวิต ก็ดูเหมือชีวิตของตรีพิมายจะเลี่ยนไปเช่นเดียวกัน เพราะ "ทันบดี" พี่บุญธรรมหรืออาของเขา ต้องการขายปราสาทสีขาวซึ่งเอกรินทร์ยกให้กับตรีพิมายเพื่อผลประโยชน์บางอย่าง แต่ตรีพิมายไม่อาจขายปราสาทหลังนี้ไปได้ เนื่องจากที่นี่เป็นสถานที่เก็บความทรงจำดีๆ ระหว่างเขาและอิระวะดี

    ในขณะเดียวกันตรีพิมายก็ได้พบกับ "อันดามัน" เด็กสาววัยบริสุทธิ์ซึ่งมีอุดมการณ์แรงกล้า ผู้อาศัยอยู่บริเวณใกล้เคียงปราสาทสีขาว และเป็นผู้ต่อต้านนายทุนที่มากว้านซื้อที่ดินบริเวณใกล้ๆ กับปราสาท การพบกันของชายผู้มีความทรงจำและความ "รัก" อยู่กับปราสาทสีขาว กับหญิงสาวผู้มีความ "รัก" ในแผ่นดินถิ่นเกิดของตน จึงก่อเกิดเป็นเรื่องราว "ความรัก" ที่ยากจะลืมเลือน