정확한 창건연대는 알 수 없으나 원나라 조자앙(趙子昻)의 「창림사비발(昌林寺碑跋)」에서 신라 김생(金生)이 창림사비를 쓴 것을 찬양하고 있는데, 이로 미루어볼 때 791년(원성왕 7) 이전에 창건되었음을 알 수 있다.
1021년(현종 12) 경주 고선사(高僊寺)의 금라가사(金羅袈裟)와 부처 정수리뼈[佛頂骨], 창림사의 부처 어금니[佛牙]를 가서 가져오게 하여 내전에 안치하였다. 폐사시기는 알 수 없으나 『세종실록지리지』에 금오산의 옛 궁궐터에 지어진 창림사가 폐사되어 없다고 하였다. 현재의 사지가 상·중·하 3단으로 나누어져 있으며, 흩어진 초석들로 미루어보아 대사찰이었음을 알 수 있다. 현재 이곳에는 2015년 보물로 지정된 창림사지삼층석탑과 쌍두귀부(雙頭龜趺)·석등연대(石燈蓮臺) 등이 남아 있다. 이 중 삼층석탑은 남산일대에서는 가장 큰 것으로 1828년(순조 28)에 무구정광대다라니경(無垢淨光大陀羅尼經)의 머리 부분과 무구정탑원기(無垢淨塔願記)가 발견되었는데 현재는 일본인이 소장하고 있다고 한다. 폐탑으로 남아 있던 이 탑은 1976년에 복원되었다. 이중기단의 상층에는 팔부신중(八部神衆)을 조각하였는데, 사실적 기법을 띠고 있는 우수한 작품이다. 1층 탑신의 가로는 1.1m, 세로는 1.2m이며, 총 높이는 6.5m에 이른다. 탑의 아래쪽 송림 사이에는 신라시대에 만든 이색적인 쌍두귀부가 있다. 유연한 모습과 연인끼리의 속삭임처럼 다정한 모습은 신라 평화기의 모습이 잘 나타나 있으며, 귀부의 연구에 중요한 자료가 된다. 귀부 위의 비신(碑身)은 파손되어 잃어버렸지만 당대의 명필 김생의 글이었다고 전하며, 이 곳의 귀부는 무열왕릉(武烈王陵)·사천왕사(四天王寺) 등의 귀부와 함께 신라의 3대 귀부로 손꼽히고 있다.