自唐代始建寺观，宋时鼎盛，元末毁于火，明景泰六年（1455年）重建殿宇，明末又毁于火。清光绪十八年（1892年）重修渊明祠，沿山配修亭阁，按陶诗文取名。后屡有修葺。现存集贤祠、桃花观、方竹亭、蹑风亭、探月亭、水源亭、菊圃、千丘田等。

　　1959年，桃花源古建筑群被湖南省人民政府公布为省级重点文物保护单位；2006年5月，该建筑群被国务院公布为第六批全国重点文物保护单位。

　　桃花源古建筑群为全国重点文物保护单位。