文昌阁为乾窿三十二年（公元1767年）水东翟氏共同筹资兴建，“计费若千金”，“巍巍砥柱，八面森然”。据说，接清朝旧制，一族出二十位举人之后方可建造文昌阁。而水东翟氏为皖南旺族，“十步之内，芳草萋萋”，清初翟氏共出二十三位举人，被乾隆恩准建造文昌阁。阁基高一丈，阁高三层共计七丈三尺五寸；广围十四丈四尺。阁平面呈八角形，三层八角均系风铃，最上层为铁铃，下面两层为铜铃，微风吹拂，铃声朗朗，十里可闻。三层屋面逐层加陡，八角翘向天空，翘角处瓦转九十度铺盖，造型典雅，别其特色，为皖南地区所罕有。在水东翟氏看来，文昌阁的建造，“不仅所以壮观瞻挹秀气，且关系一族之文运”，也代表着当时翟氏的昌盛辉煌，因而尽管“计此非数千金不克成”，仍“尽力而劝输，不分公私，不争多寡”、“族之乐输者闻风接踵而至”。文昌阁建成后，曾任山东道监察御史、翰林院编修的赵青藜为之撰记，乡中名士翟士吉作《创建文昌阁叙》。文昌阁底层正面悬“盛世文明”横匾，二层屏风上方有“文光射斗”四字，三层有“共登云梯”竖匾，并塑有文昌菩萨。龛上有“直冲云霄”匾额。这些匾额都铭记着昔日翟氏宗族文化的辉煌与荣耀。文昌阁占地十余亩，外围有院墙，内有花径、松岗、竹林、水池；阁后为广阔的田野，赵青藜诗称：“四百阡丘万顷田”。登阁远跳，远山近水尽收眼底。

　　 文昌阁建成已230余年，历经百年沧桑，风韵犹存。昔日文人春秋登阁，听风吟诗，赏景作画；而今天的游客到此，既可观清新秀丽的皖南田园风光，又可赏风格独特的古代建筑。如今，文昌阁业已成为桃花潭景区的一个著名景点，吸引着纷至沓来的中外游客。