신라 시대에 김유신(金庾信)이 창건하였다고 한다.
김유신은 백제를 치려고 당나라에 병력을 청하였는데, 당나라에서는 소정방(蘇定方)으로 하여금 배로 군사 12만 명을 거느리고 방산 아래에 정박하게 하였다. 그런데 연기와 안개가 자욱하게 덮여 천지가 캄캄하였다. 김유신은 산신령에게 기도하기를, 만일 안개를 활짝 개게 해주면 절 1,000채를 세워 부처님을 받들겠다고 하자, 곧 안개가 걷혔다. 그런데 산에 올라가서 두루 살펴보니 지세가 너무 좁아 절 1,000채를 도저히 세울 수 없었으므로, 돌 1,000개를 배치하여 절의 형태만 만들고 법당 1동을 세워 천방사라 불렀다고 한다.
후에 이 절은 선림사(禪林寺)라 고쳐 불렀으며, 고려 숙종의 명으로 중수하고 불상을 안치한 뒤 다시 천방사라 고쳐 불렀다. 그 뒤 조선 중기까지 존립하다가 폐사가 되었는데 빈대로 인한 것이라고 전한다.