西子祠屡毁屡修，清道光二十二年，由陈延鲁捐资重修。咸丰十一年又毁于战火。光绪年间，里人集资重修，架屋三楹，余皆荒废。民国初，已成“短垣半纪，藓草迷离。”民国十八年，陈锦文等集资再建，正厅三间，祠宇高敞，门额书颜体“西子祠”三字，里人周嗣培署，前临旷地，植花栽竹，围以石栏，民国二十三年两庑又配筑南厅、北阁。正厅銮阁，中供西施塑像，旁立宫女二，銮阁顶端竖二小匾，一曰“归真处”，一曰“时雨之化”。