早在汉代就有僧人于山之东麓修建寺庙，唐宋各代历经修葺。明正统年间，名称由清胜寺改为翠岩山寺。明成化十二年（1476年），翠岩山寺住持僧沙昆请儒将名笔都指挥王锴手书七尺见方的“翠岩山寺”四个大字刻于山崖之上，并浮雕四尊佛像，时至今日依稀可见。

　　翠岩山寺现有两座石碑保存完好，其一为乾隆三十六年立，其二为嘉庆八年立，碑文清晰可辨。玉皇阁大殿左右两侧墙的内壁上各有建阁碑记一块，保存完好，字迹清晰。