祭祀一忠一孝的文昌庙与关帝庙是古代举行隆重大典的地方。安仁县的文昌庙始建于宋建炎年间（1127—1130年），知县汪杞建学宫于县东育才坊（今余江二中所在地），元朝邑人王溥又建“大成殿”，创建了“明伦堂”。明清两朝，几经废兴。清同治八年（1869年），代县令姚迥和后任知县朱潼发起乡绅大加修建，此时的文庙（孔庙）由兴贤门拾级而上，依次为棂（灵）星门、泮池、大成门、大成殿、崇圣祠，并把文昌宫和明伦堂连接起来，东西两排小屋分别为名官、乡贤、忠义、节孝四祠。新建“魁星阁”于孔庙东边，各殿漆以红漆，金碧辉煌，画龙雕栋，檐桷拱飞，气势雄伟，与巍巍的文庙珠壁相辉，与挹仙亭遥相对峙，颇为壮观。安仁文庙，面水背山，大有虎踞龙盘之势，庙中遍植古槐，绿树成荫，郁郁葱葱。道光五年（1825年）正月十四日，飓风自正西吹来，山陵大树连根拔起，孔庙部分建筑首当其冲，庭中古槐被吹倒，知县陈公会同乡绅捐资修复，并将古槐扶植于原穴，精心培育，次年又吐出新叶，这棵千年古槐至今仍有凌宵参天之势。民国时期，安仁文庙一直作为学堂之用，解放后，为余江中学（后改名为余江二中）办公用房，1977年，将文庙大成殿改造成二层办公楼，殿基及窗台下维持原貌。