일제강점기 31본산이 있었던 때에는 유점사(楡岾寺)의 말사였다. 이 절은 1362년(공민왕 11)에 나옹왕사(懶翁王師)가 담실대사(曇實大師)를 시켜 창건하게 하였고, 1735년(영조 11) 진각대사(眞覺大師)가 제자 금파(金波) 등과 함께 중수하였다.
1843년(헌종 9)의 화재로 절이 모두 소실되자 주지 성련(聖連)이 서형순(徐逈淳) 등의 시주를 얻어 불전(佛殿)을 중건하고 불상과 지장보살상(地藏菩薩像)을 조성, 봉안하였다. 1874년(고종 11) 성련이 다시 3년 동안 노력한 결과 불전 10칸을 중건하고 절 이름을 흥룡암(興龍庵)으로 바꾸었다. 1874년 이후 이 절은 크게 퇴락되었다. 이때부터 이 절에 사숙(私塾)을 두어 학도들을 가르치는 한편 시주를 얻어 절을 중수하였고, 1910년에 다시 장연사로 개칭하였으며, 1923년 불전 10칸과 승방(僧房) 7칸을 건립하여 수도장의 면모를 갖추었다. 절터에는 통일신라의 석탑으로서 북한 국가지정문화재 국보급 제101호인 장연사삼층석탑이 있다.