世太史第始建于明代，因赵氏族中自赵文楷始，赵畇、赵继元、赵曾重四代翰林，故旧称世太史第、四代翰林宅。清光绪三十三年（1907）十一月五日，生前任九届全国政协副主席、民进中央名誉主席、中国佛教协会会长赵朴初先生诞生于此，故亦为赵朴初故居。

　　世太史第集古建与园林艺术于一体，占地面积4463平方米，建筑面积2773平方米。古建筑群坐北朝南，外墙青砖勾缝清水，古朴典雅。马头墙高低起伏，富有韵律。主体建筑系砖木结构，平面呈长方形，东西长42米，南北宽84米，分东路四进，西路三进，共七进。除西三进为三开间外，余均为五开间，面阔为20米，沿两条南北走向中轴线规整排列。每进两侧由厢房或回廊贯通。东一进、东二进，东三进、东四进，西一进、西二进之间为起采光和承接四面檐水作用的天井。后花园由六角亭、荷花池、假山、碑廊、园艺等组成，面积982平方米，似一颗碧绿的翡翠镶嵌在古建筑群西北部。

　　该建筑艺术讲究风水，选址巧妙。聚族而居，规模宏大。南北交融，彰显徽派。中轴对称，结构规整；一厅两厢或廊，开敞式厅堂连同狭小天井构成世太史第基本的建筑单元；砖雕、木雕、石雕技艺精湛，非常巧妙地把世太史第建筑室内外装修、装饰融为一体；点线面、黑白灰、清水勾缝外墙、白粉内墙、小青瓦的连绵不断组合成清新淡雅的世太史第外观形象。

　　世太史第风格融北方古建的恢宏、粗犷及徽州古建的细腻、精致于一体，有着浓郁的地方特色和历史、科学、艺术价值，也是安徽省保存较好、面积较大的一组明清古建筑群。

　　2006年世太史第作为明代的古建筑，被国务院列入第六批全国重点文物保护单位世太史第为全国重点文物保护单位。