창건연대 및 창건자는 미상이나 신라시대에 창건되었다. 이 절에는 의상(義湘)이 조성한 관음보살상이 있었는데, 영험이 많아서 참배객들이 끊이지 않았다고 한다.
고려시대에는 충렬왕이 1275년 공주와 더불어 이 절에 행차하였고, 공민왕도 1367년에 행차하였다. 1475년(성종 6) 절 뒤에 있는 돌산이 저절로 터져 동문 밖으로 이전하였다고 하나 조선 중기 이전에 폐사된 것으로 추정된다. 『신증동국여지승람』에 이 절에 관한 정추(鄭樞)와 채련(蔡璉)의 시가 수록되어 있다.