老子（李耳）于魏晋时代被老庄学派所神化。唐代初年，为了巩固封建统治，唐高祖李渊尊老子为“鼻祖”。唐太宗李世民令道士女冠皆列于僧尼之前。唐玄宗追尊老子为“太上玄元皇帝”，并于开元二十九年（741年）敕令在长安、洛阳两京修筑玄元皇帝庙，设崇玄学为国立道学院，虽其废置无常，但影响波及全国，后改为上清宫。所谓“上清”，即道家幻想的仙境。李耳被人们称为太上老君，因此这里又称老君庙。

　　上清宫盛时规模宏大，树木葱郁，殿堂雄伟，地势险要，风景秀丽。现存有老君殿、翠云洞、东西厢房、明清碑记、建筑遗址及古柏数株。宫内壁上有唐代画圣吴道子的唐高祖、太宗、高宗、中宗、睿宗五圣像，大诗人杜甫登上玄元皇帝庙时写了“山河扶绣户，日月近雕梁”的诗句，极力描写洛阳山河的壮丽和皇城的宏伟。

　　北宋末年金人南侵，上清宫毁于战火。明嘉靖二十四年（1545年）重修，恢复了旧貌。嘉靖三十四年（1555年）洛阳地震，再次毁坏。清代多次重修，但远非旧貌。

　　新中国成立后，党和政府于1957年和1971年两次对上清宫进行修葺。历史上被称为洛阳八景之一的“邙山晚眺”即指此处。