대한불교조계종 제6교구 본사인 마곡사(麻谷寺)의 말사이다. 신라시대 원효(元曉)가 창건하였고, 고려 말 보우(普愚)가 중창하였으며, 조선 중기에 진묵(震默)이 중창하였다. 송시열(宋時烈)의 수학지(修學地)로도 유명한 이 절은 6·25 때 전소된 것을 주지 김도천(金道川)이 30년 동안 이 절에 머무르면서 대웅전·무량수전(無量壽殿)·요사채 등을 중건하였다.
현존하는 당우로는 1984년 충청남도 문화재자료로 지정된 대웅전을 비롯하여 극락보전·관음전·지장전·산신각·범종각·요사채 등으로 구성되어 있다.
절터는 전국 12승지의 하나로서, 원효가 이곳을 발견하고 너무나 기뻐서 3일 동안 춤을 추었다고도 하며, 한용운(韓龍雲)이 “대둔산 태고사를 보지 않고 천하의 승지(勝地)를 논하지 말라.”고 할 만큼 빼어난 곳이다. 또한, 이 절의 영험설화로는 전단향나무로 조성된 삼존불상을 개금(改金)할 때 갑자기 뇌성벽력과 함께 폭우가 쏟아져서 금칠을 말끔히 씻어 내렸다는 전설과 잃어버린 태고사 불궤에 얽힌 전설 등이 전해지고 있다.