据“清凉山志”载，此寺肇于北魏孝文帝延兴二年至太和十七年间（472-493）。唐代时，它是替国行道的镇国道场。唐代历元年（766），不空三藏密宗道场。清乾隆年间，寺宇建筑整齐一新，规模宏大。民国年间再度扩建，“文革”时期，整座寺庙作为迷信产物而被毁，惟天生之清凉石尚存。

　　清凉石是清凉寺的象征，文殊菩萨曾于清凉石上讲经说法，因此也称“曼殊床”-

　　清凉寺坐东朝西，按中国传统的中轴对称格局布置，中轴线上有五层大殿，禅堂、配殿左右对称，清凉古置于寺中，布局严谨，主次分明。