1982년 충청남도 기념물로 지정되었다. 지정면적 19,605㎡. 《삼국유사》 남부여조(南扶餘條)에 “호암사에는 정사암(政事巖)이란 바위가 있어 나라에서 재상을 선출할 때 3, 4인의 이름을 적어 함봉(函封)하여 바위 위에 두었다가 얼마 후에 개봉하여 그 이름 위에 도장이 찍혀 있는 자로 재상을 삼았으므로 이런 이유에서 정사암이란 이름이 생겼다.”라는 기사가 있다.
호암사의 중심부로 추정되는 지역은 대부분 민가가 들어서 있어 정확한 건물지의 위치를 파악할 수 없으나, 백제 때의 방형 및 원형 주초석(柱礎石)들이 부근 민가내에서 초석으로 사용되고 있다.
호암사 주변에는 초석과 건축용 판석이 있고, 호암리 새마을회관 등에도 주춧돌이 남아 있다. 또 고려말 숨어 살던 임윤덕의 묘에도 이 절터에서 가져간 석재를 사용하였다.
30여년 전에는 집터를 닦을 때 크기 약 25㎝ 가량의 금동불상이 출토된 적이 있다 하며, 이 집의 남쪽에는 약 2.000여평의 논이 있는데 속칭 ‘담안논’이라고 불리고 있어 근처가 바로 사찰 경내가 아니었던가 추측된다.
이 평탄대지(平坦垈地) 좌우에는 낮은 산이 병풍처럼 감싸고 있으며, 그 전면은 트여서 백마강(白馬江)이 바라다보이는 점 등을 감안하면 이 일대가 당시의 사역으로 추정된다.