驸马府始建于北宋英宗治平年间(公元1064—1067年)，座北向南偏东，面宽42米，进深48米，占地面积2450平方米。主体建筑为三进五间，头进及后座均带插山厅、插山房，合为九间；中厅东西围屋带从厝厅、房及书斋，后面有横贯全宅的后包。主体的三进与插山构成“工”字格局，围屋隐伏于中座两旁山墙外，形成独厅、独院、独天井之独特设置。府内四口井中有一口井今水质清冽。驸马府全宅木屋架概为近于穿斗之穿插屋架，并立于条状连续石地梁--地袱上。墙体为板筑夯灰和青砖条浆砌，后座正厅东侧二面墙壁仍保留桃红色的竹编灰壁。府第屋面举折平缓，出檐深远，正脊两端从山尖伸出石质鳌尖，垂脊头开嘴甚长。

　　整座建筑结构严谨、古朴大方，被专家们誉为“国内罕见而完整的府第建筑”。1996年许驸马府作为明代的古建筑，被国务院列入第四批全国重点文物保护单位。