김부식(金富軾)의 「법흥사중수기문」에 의하면, 이 절이 오래된 절로 창건연대는 미상이며 옛날에 법흥(法興)이 창건한 것으로 전한다. 『국사대사전』에는 신라 때 광통(光統)이 짓고 고려의 법흥 선사가 중건한 것으로 기록하고 있으나 그 근거는 미상이다.
고려 때의 중창은 1123년(인종 1)에 징오(澄悟)가 김부식과 정습명(鄭襲明)의 힘을 빌려서 대찰을 일으켰는데, 당시 이 절은 묘청의 난으로 희생된 고려왕실 계통 사람들의 명복을 빌기 위하여 옛 절의 북쪽 10여보 되는 곳에 옮겨서 지었으며, 고려왕실의 도움을 받아 1123년 3월에 공사를 시작, 1125년 봄까지 80여 칸의 건물을 이룩하였다.
당시 이 절은 불당(佛堂)·승당(僧堂)·고구(庫廐)까지를 온전히 갖추었으며 주변의 담장 길이가 150여장이나 되었다. 인종은 낙성식 때 재문(齋文)과 향물(香物)을 보냈다한다.
그러나 이 절이 유명하게 된 것은 임진왜란 때의 의승장 휴정(休靜)이 승군을 집결시킨 때문이다. 휴정은 왕으로부터 팔도선교도총섭(八道禪敎都摠攝)의 직함을 받고 의승군을 이 절로 집결시켰는데, 당시 1,500명의 승려가 자원하여 모여들었고, 1593년(선조 26) 정월에 명나라 군사와 더불어 평양성을 탈환하는 데 현혁한 공을 세웠다. 그러나 이 절에 관한 그 뒤의 역사는 전하지 않고 있다.