寺前有碧波潺潺的抖气河环抱，後山有郁郁葱葱的佛塔山为倚背，使寺宇幽藏在青苍如黛，蓊然毓秀之中。又有青龙宝宁山腰的明代建筑玉虚宫，与古刹香严寺交相辉映。

　　寺座北朝南，周有堡式墙垣，内分七院十二殿，共有大小殿宇一百二十余间，占地六千一百六十平方米。寺始建於唐代，现存建筑为元代手法，是全国重点文物保护单位。

　　寺院规模宏大，布局严谨，殿宇鳞次栉比，佛堂高低有序。主建筑分别有歇山、悬山、硬山式殿顶，各式琉璃流光溢彩，气势宏大。主轴线上有山门殿、天王殿、过殿、大雄宝殿、毗卢殿、十王殿以及两侧的附属建筑，构成以元代建筑为主体，明、清建筑相配合的古建筑群体。

　　相传寺内有三件宝，即铁杆蒿梁、风磨铜佛像和山门鸽子。风磨铜佛高约一米左右，存於正殿，只要见生锈可搬至院内，见风复生光辉，金色如新。民国初年（一九一二年），古董商买价二千白洋，寺僧惜其珍贵，收藏入柜，秘不见人。

　　铁杆蒿梁，大约三丈多，粗约二十五厘米，横七竖八置於正殿梁间，属古今罕见奇木，游人到此先睹为快，叹为奇观。柳林香严寺为全国重点文物保护单位。