主楼圆形，高4层，直径40米，土木结构，内通廊式，两面坡瓦屋顶，穿斗、抬梁混合式木构架。外墙自下而上逐层递减，底层厚1.5米，四层厚0.7米。每层34开间，底层设厨房、餐厅，不开窗；二层不开窗，设粮仓，三、四层为卧室。二层以上每层的廊檐下设木构小储藏室。

　　主楼后厅为豁口厅，较宽敞，供奉神座，前为小天井，与前面和两边的廊道围合成一个院落，与楼门厅、楼中间的祖堂同在中轴线上。后厅两侧各有一砖砌拱门，与主楼内通廊连接。后厅前向左右两边柱子上的楹联：“不因富贵求佳地，但愿子孙做好人。

　　祖堂位于楼中间，单层，方形，砖木结构，比后厅低一个台阶。歇山顶，穿斗、抬梁混合式木构架。厅堂位于后向，其后墙为木结构，后墙两侧各有一门通往后厅；前向两侧的回廊前向为天井，天井正面和两侧为回廊；厅堂地面比前向3面的回廊高一个台阶，其两侧各有一个小的砖砌拱门与厢房连接。祖堂雕梁画栋、古朴典雅，前向后向3对柱子上的楹联分别是：“积德多蕃衍，藏书发古香。”“种德多，随居蕃衍；读书好，出口生香。”“不因富贵求佳地，但愿儿孙做好人。”斗拱上雕刻图画。楼主的理念、追求和良苦用心，由此可谓表现得淋漓尽致。祖堂两侧的豁口厢房，砖木结构，单层，面向后天井，面积均约50平方米，为旧时举行婚丧喜庆活动的主要场所之一，也是宴会厅。厢房与主楼之间还有砖木结构、单层的浴室等附属建筑，紧靠厢房，但略低于厢房，两边对称，整齐排列。

　　主楼与祖堂之间以小庭院相隔，以廊道小门贯通，地板均以三合土铺面。

　　全楼设一个大门、4道楼梯。门扇外封铁板，门楣上方设防火水槽，以防火攻。门坪由正面向东面延伸，全部以鹅卵石铺面。门楣上方“衍香楼”3个大字，苍劲有力。楼门左右两边及上方约2米以内为石灰墙面，绘饰“八龙”、“五福”图案。

　　楼外围墙环绕，墙高1.8米，正面的围墙用鹅卵石砌成，长约50米，宽0.3米，弯弯曲曲，形似卧龙。龙头为西侧的外大门，重檐歇山顶，石条门框，门楣镌刻“大夫第”3字，两边镌刻楹联：“积德多藩衍、藏书发古香。”门两边墙上绘饰壁画，并配上处世格言。当年建此楼时，因外大门找不到更好的朝向，只能选择内楼门偏西方向，但它正对楼侧的小溪，而且又是顺溪水朝向，再加上楼后就是山坳，为图吉利，所以才特地将这段围墙设计成这种形状，外大门则象征龙头，寓意驱邪压煞。这充分展现了中国传统“风水”建筑规划理念（见7.a-2照片44)。楼两侧和后侧的围墙顺着地势而建，前低后高，跌宕起伏，其中一部份为石砌墙体，大部份以生土夯筑而成。西侧和后侧建有高2层的学堂、娱乐室（楼主吹、拉、弹、唱处所），东南面的有碧稚间、猪圈等，均为土木结构，其外墙与围墙相连。

　　距楼后围墙约100米的溪畔有一个后花园，绿树成荫，古木参天，为旧时该楼文、武秀才读书、练武、做操及楼主休闲之所在。后花园有一条青石板路沿溪通到外楼门，路靠溪边筑条石护栏。该楼人才辈出，从20世纪50年代至今，涌现了大学教授6名、中学教师18名、小学教师33名，博士2名、硕士15名、学士76名、中专生21人。另外，旅居海外的宗亲现有1000多人。2001年1月，被公布为福建省级文物保护单位。保存完好。