창건연대·창건주는 알 수 없으나 고려 때 황빈연(黃彬然)이 과거를 보기 전까지 여기에 있었고, 김신윤(金莘尹)이 권신에게 미움을 받고 이곳에 머물렀다는 기록으로 보아 고려시대 이전에 지어진 절로 추정된다.
감악산은 삼국시대 이래로 군사적 요충지로서 아래로 칠중성(七重城)의 토성이 전개되어 있으며, 감악사 안에는 최근까지 감악사당이 있었다. 이 사당은 당나라 장수 설인귀(薛仁貴)를 산신으로 삼았다 하며, 조선시대에는 명산으로 중사(中祀)에 기재하고 봄·가을에 제사지냈다 한다.
특히, 근래에는 산상에서 삼국시대의 고비(古碑)가 발견되었는데, 비문이 풍화로 인하여 확인되지 않고 있으므로 몰자비(沒字碑)라고도 한다. 이 절은 산악의 지형에 따르는 국방적 의의를 지녔던 사찰로 추정된다. 절의 뒷산 서쪽 봉우리에 용지(龍池)가 있었는데, 가물거나 장마에도 물이 불어나거나 줄지 않았고 비를 빌면 감응이 있었다고 한다.