한국불교태고종에 속한다. 백제 때 창건된 사찰이라 하나 창건연대 및 창건자는 미상이다. 다만, 『삼국유사』에 의하면 “호암사에는 정사암(政事巖)이라는 바위가 있는데, 나라에서 재상을 선임할 때는 후보로 3, 4인의 이름을 써서 함봉하여 바위 위에 두었다가 얼마 뒤에 개봉하여 그 이름 위에 도장이 찍혀 있는 사람으로 재상을 삼았다.”고 하였다. 또, 절 옆의 바위에 호랑이의 발자국이 있기 때문에 호암사라 하였다고 한다.
절의 폐사연대는 알 수 없으나 조선 초기 이후로 추정된다. 현존하는 호암사는 최근에 중창한 사찰로서, 법당을 비롯하여 요사채 · 산신각 등이 있다.
호암과 관련되는 전설로는 호암리 임씨(林氏)의 중시조가 이곳에 은거하여 있을 때 호랑이가 가져다 준 식량으로 연명하였다는 설화와 함께, 그 뒤부터 임씨 가문이 크게 번성하게 되자 호암에 제사를 지냈다는 이야기가 전한다. 절터가 1982년 충청남도 기념물로 지정되었다.