창건연대 및 창건자는 미상이나 『동국여지승람』에 기록된 박은(朴誾)의 시를 통해서 볼 때 신라시대에 창건되었고, 서천축국(西天竺國)에서 왔다는 불상이 있었음을 알 수 있다.
고려시대에는 숙종 때부터, 특히 고종 이후에 왕실의 보호를 받으면서 발전하였다. 숙종은 1100년(숙종 5) 8월에 이 절로 행차하였고, 고종은 1245년(고종 32)부터 그가 죽은 1259년까지 매년 건성사(乾聖寺)와 함께 이 절에 행차하였다.
원종 또한 즉위 초부터 1268년(원종 9)까지 매년 이 절에 행차하였는데, 고종이나 원종이 주로 3월과 9월에 이 절에 행차한 것으로 되어 있어 왕실과 관련된 인물의 원당이 있었을 가능성이 크다. 그 뒤에도 충렬왕이 5번, 충숙왕이 2번, 충목왕이 1번, 공민왕이 5번 행차하였다.
이 중 충렬왕과 공민왕은 주로 공주와 함께 행차하였으며, 특히 공민왕은 1353년 4월과 9월에 공주와 더불어 불공을 드리기도 하였다. 폐사연대는 미상이나 『신증동국여지승람』에 기록되어 있는 조선 중기까지는 존립하였던 것을 알 수 있으며, 이 절에 관한 김극기(金克己)·조위(曹偉)·박은의 시가 전하고 있다.