현재의 칠보사(七寶寺) 자리에 있었던 원래의 사찰에 관한 연혁은 확인되지 않는다. 다만 절터의 규모로 볼 때 매우 큰 사찰이었던 것으로 추정할 뿐이다. 대한제국기인 1906년(광무 10) 이교설(李敎卨)이 폐허가 된 절터에서 석불(石佛) 2위와 동자상 1위를 발굴한 후 절을 세우고 약사암(藥師庵)이라고 하였다. 약사암의 용신전(龍神殿)에 발굴된 석불을 봉안하였는데 이후에 절 이름을 칠보사로 변경하였다. 1960년 관음전(觀音殿)을 세웠고, 1970년 용신전을 헐면서 석불을 절 옆의 공터에 봉안하였다.
칠보사에는 다음과 같은 연기설화(緣起說話)가 전한다. 어느날 이교설이 꿈을 꾸었는데 부처님이 나타나 자신이 칠보산에 묻혀 있으니 꺼내달라고 하였다. 이상하게 여긴 그는 다음날 꿈에서 부처님이 말해준 자리에 가보았는데 석조비로자나불좌상과 석조석가여래좌상, 그리고 도리보살로 추정되는 동자상을 발견할 수 있었다. 이에 감명을 받은 이교설은 그 자리에 절을 세우고 약사암이라 했다고 한다. 이때 발견된 석불들은 함께 제작된 것으로 보이는데 정확한 조성 시기는 알 수 없다. 현재 사찰 건물로는 관음전, 산신각, 요사 등이 있으며 주법당은 관세음보살을 모신 관음전이다.