한국불교태고종에 속한다. 800년(애장왕 1) 영통화상(靈通和尙)이 창건하였다.
임진왜란 전에는 7칸의 대웅전을 중심으로 동쪽에 4칸의 시왕전(十王殿), 서쪽에 7칸의 공수청(公需廳) 및 향적각(香寂閣)이 있었으며, 그밖에 정방(正房) 3칸 등 크고 작은 방들을 갖춘 큰 절이었다. 또한 800근에 이르는 대종(大鐘) 등 수많은 유물들을 보관하고 있었다. 임진왜란 때 왜병들이 침입하여 대종을 녹여 총포를 만들었는데, 그 기록은 작은 종의 용두(龍頭)에 새겨져 있다. 그 뒤 1745년(영조 22) ·1747년 ·1748년의 세 차례에 걸친 화재로 거의 소실되어 작은 암자로 존립하게 되었다. 1923년에는 이 암자마저 불탔으며, 보관하고 있던 종은 해남 대흥사(大興寺)로 옮겼으며, 1925년 소규모의 절을 중창하여 오늘에 이르고 있다.
현존하는 당우로는 법당과 요사채가 있다. 원래 이 절에 있다가 대흥사로 옮겨진 탑산사명 동종은 높이 79㎝, 입지름 43㎝인 고려 말의 작품으로, 1963년 보물로 지정되었다. 사전(寺傳)에 의하면 이 절의 서북쪽에는 아육왕탑(阿育王塔)이 있었다고 한다. 인도에서 크게 불법을 일으킨 아소카왕이 이곳에도 보탑(寶塔)을 세워 부처의 사리를 봉안하였다고 하는데, 이는 우리나라 불교의 남방불교전래설을 알게 하는 일례가 된다. 아육왕탑 밑에는 과거불인 가섭불(迦葉佛)이 좌선하였다는 자리가 있는데 이를 가섭불연좌석(迦葉佛宴坐石)이라 한다. 이는 경주 황룡사의 가섭불연좌석과 맥을 같이하는 것으로 불국토설(佛國土說) 연구에 좋은 자료가 된다. 그외 1994년 전라남도 문화재자료(현, 문화유산자료)로 지정된 장흥탑산사지 석등과 2008년 전라남도 문화재자료로 지정된 장흥탑산사지금동여래입상 등이 있다.