据明嘉靖《新安氏族志》载：西递村因“罗峰文其前，阳尖障其后，石狮盘其北，天马霭其南，中存二水，环绕石之东，西之西，故名西递。”清著名学者俞正燮在《古黟山水记》中云：“西递系因是府（徽州府）西，曾设‘铺递所’，故名西递。”西递是一座古老的山庄，始建于北宋，距今已有900年。西递村在北宋元丰年间始为胡姓居住，至明代中叶，村堂已具现在规模。清代中期后，随着徽商经济的发展，居住建筑得到改观。至今仅有胡文光刺史石坊、胡文光旧居、古来桥、会源桥为明代建筑，其它都是清代建筑。村庄因山川水势，呈东北、西南走向。

　　全村现存有明代民居建筑1幢，清代民居建筑122幢，建筑布局合理，风貌独特。西递村由正街、横路街、后边溪3条街道和40多条胡同及2条穿街村而过的水溪将居民住房隔成井然有序的广块，路面全用青石板铺成，逶迤蜿蜒。一幢幢古民居层楼又叠院，鳞次栉比；家家青石门坊，粉墙青瓦，飞檐翘角，气势轩昂；高墙深巷，曲径通幽，古朴典雅，村西南口胡文光刺史牌坊，为3间3柱5楼悬山式，巍峨壮观。高13米，宽9.6米，为青石建筑，其雕刻极其精美。村内居民宅院均以内向方形、围绕一个长方天井的全院为基本单位，宅园中设正厅、便厅、厢房、书斋、卧室、花园等；还有的建有书院、祠堂。房舍用料考究，装饰奢侈。宅院大门用磨制平整光滑的黑色大理石砌成门坊，上建有砖雕、石雕组成的各式门罩。粉墙上的漏窗石雕也各不相同，图案有竹梅、松石、花草等。屋内花板栏板等木雕也极其华美，往往以人物故事或缕空为内容，玲珑剔透，栩栩如生。

　　西递村还有一些人家，以园林建筑为手法，使宅第布局紧凑，小巧玲珑，幽静雅致。村中知府胡文照“大夫第”、“桃花源里人家”、霭公园、桃李园、鱼乐园等，因势结构，因地制宜，点以花潭水池，隔以漏低墙，饰以石雕砖缕，配以石凳石桌，甚至门前置放整石雕刻的梅瓶等，把整个院落点缀得十分对称、和谐、清雅和美观。这里的乡楼建筑也是徽派民居所一大特色。此外，西递村民家多有传世文物，如画像、书画、条屏、木联、古陶瓷、古家具、堂匾等。这些文物摆设家中，更显得文风的朴素、典雅。

　　由于西递古民居保存基本完整，建筑风格在徽派中独树一帜，且工艺精湛，三雕（石雕、木雕、砖雕）精美，又以石雕见胜，不仅是研究清代民居建筑的实物，又是研究明清以来徽商社会经济形态、建筑史和艺术史的资料，被誉为“明清民居博物馆”、“东方文化的宝库”、“世界上保护最完好的古民居建筑群”、“世界上最美的村镇”。

　　2000年11月30日在澳大利亚凯恩斯召开的联合国教科文组织第24届世界遗产委员会会议上，中国安徽古村落西递、宏村列入《世界文化遗产名录》；2001年西递村古建筑群作为明、清时期的古建筑，被国务院列入第五批全国重点文物保护单位。西递村古建筑群为全国重点文物保护单位。