대한불교천태종에 속한다. 옛 절터 밑에 새로 지은 소규모의 사찰이 있다. 신라 신인종(神印宗)의 개조(開祖)인 명랑법사(明朗法師)가 세운 금광사(金光寺)와 더불어 통일신라시대에 있어서 문두루비법(文豆婁秘法)의 중심도량이 되었던 사찰이다. 명랑의 후계자인 안혜(安惠) · 낭융(朗融) 등과 김유신(金庾信) · 김의원(金義元) · 김술종(金述宗) 등 국사를 논의하던 중요한 인물들이 함께 뜻을 모아 세운 호국사찰이다. 창건 이후의 역사 및 폐사시기 등은 알려지지 않고 있다.
다만 4대덕(四大德)인 안혜 · 낭융 · 광학(廣學) · 대연(大緣)의 유골이 모두 절의 동쪽 봉우리에 묻혔기 때문에 사령산조사암(四靈山祖師巖)이라 하였다고 한다. 현재는 부도(浮屠) 4기와 동 · 서 삼층석탑이 남아 있다. 2005년 보물로 지정된 이 탑은 일반적인 신라의 탑들에 비하여 탑신이 가늘어 가냘픈 느낌이 들지만, 이러한 약점을 탑에 조각된 사천왕상과 12지신 상이 보강해주고 있다. 비교적 크고 안정된 이중기단은 상층기단의 12지신 상 조각을 위한 것이다. 이 탑은 1933년에 도괴되었던 것을 일본인이 복원하여 세워놓은 것이다. 또한, 석탑의 동북쪽 500m 거리에 부도 3기가 있고, 서북쪽 300m 지점에 최근 발견된 1기의 부도가 있다. 이들은 모두 고려 이후의 작품으로 추정된다. 이 가운데 서북쪽의 부도는 원좌(圓座)내에 범자삼자(梵字三字)를 새겨놓았고, 연화문 등의 조각이 다른 부도와는 구별되는 독특한 조형미가 있다. 옛 절터는 1963년 사적으로 지정되었다.