대한불교조계종 제7교구 본사인 수덕사(修德寺)의 말사이다. 신라 말 도선국사가 창건하였으며, 고려 중기에 보조국사(普照國師)가 현재의 대방(大房) 앞에 5층석탑을 세운 뒤 영탑사라 하였다고 한다.
그 뒤 무학대사(無學大師)가 현재의 법당 자리에 있던 천연암석에 불상을 조각하고 절을 중건하였으며, 대방 앞 정원에 있던 5층 석탑을 법당 뒤의 바위 위로 이전하였다. 1760년(영조 36)에 편찬된 『여지도서(輿地圖書)』에 영탑사가 기록되어 있으며, 1798년에는 지윤(智允)이 유리광전을 중수하였다. 그 뒤 1911년에 신도들이 중수하였으며, 1928년에 이민동(李敏東)이 노전(爐殿)을 중건하였다. 1988년에는 법당을 신축하였고, 1992년에는 화재로 노전이 소실되었으나 최근 복원되었다.
현재 남아 있는 당우로는 법당을 비롯, 유리광전 · 산신각 · 요사채 등이 있다. 이 중 정면 3칸의 유리광전 안에는 1984년 충청남도 유형문화재(현, 유형문화유산)로 지정된 약사여래상이 양각되어 있으며, 1984년 충청남도 문화재자료(현, 문화유산자료)로 지정된 영탑사범종은 1760년(영조37)에 가야사 법당의 금종을 녹여 조성한 것이다.
또, 법당 뒤에는 1984년 충청남도 문화재자료로 지정된 자연암석을 기단으로 하여 세운 칠층석탑이 있는데, 원래 5층 석탑이었으나 1911년의 중수 때 2층을 더 올려 7층으로 하였다고 한다. 이 밖에도 이 절에는 1964년 보물로 지정된 금동비로자나불삼존좌상이 있다. 또, 요사채의 수미단 위에는 아미타불을 중심으로 좌우에 관세음보살과 대세지보살을 봉안하였다. 이 삼존불은 최근에 인천에서 옮겨온 것이며, 조각수법으로 보아 몽고불(蒙古佛)로 추정되고 있다.