楚南会馆建于清光绪壬午年（1882年）。是当时居住在龙胜境内的湖南籍人士筹资所建，原是四合院，西边是戏台，南北是厢房，东边是神庙，神庙内原有菩萨五尊，解放前已下落不明，大门有石条阴刻对联一付“宫室虽卑，应识惟馨明德；衡湘在望，相逢好话家山”楚南会馆庙会日为每年农历三月初三。

　　民国县政府在抗日战争时期改作临时监狱，解放初期人民政府也作临时监狱。1953年建立县文化馆后，用作图书室；1980年成立县文物管理所，作为文物展览场地使用，1981年公布为县级重点文物保护单位。信息来源：龙胜旅游网