1964년 사적으로 지정되었다. 자세한 연혁은 전하지 않고 있으나, 절 이름은 주민들 사이에서 ‘영암사’로 구전되어 오고 있다. 또한 서울대학교도서관에 탁본만 전하는 영암사적연국사자광탑비(靈岩寺寂然國師慈光塔碑)(1023년 건립)의 비문에 의하면, 932년에 태어난 적연국사가 개성 인근의 보법사(普法寺)와 내제석원(內帝釋院)에 주석하다가 물러나 1011년 가수현(지금은 폐읍이 된 삼가현의 옛 이름)의 영암사에서 거하다 1014년(고려 현종 5년) 향년 83세로 입적하여 영암사 서봉에 장사지냈다고 기록되어 있다. 이 비는 현존하지 않지만 현재 영암사지에는 당시 비를 세웠던 것으로 보이는 귀부가 남아 있고, 서봉에 장사지냈다고 하는 적연선사의 부도가 대기(大基)마을 뒤쪽, 영암사에서 서쪽으로 약 1.5km 지점 산중턱에 현존하고 있어 이 절터는 비문에 기록된 영암사지로 판단된다. 이밖에도 국립중앙박물관에 있는 강원도 양양 사림사(沙林寺)의 홍각선사비(弘覺禪師碑) 비문에 “□年復於靈巖寺修正累月(□년복어영암사수정누월)”이라는 글귀가 있어 홍각선사가 영암사에서 몇 달 동안 수행하였던 것을 알 수 있다. 그러나 이 비문은 일부만 존재하고 있어 합천 영암사지임을 알 수 있는 단서는 없다.
1959년 가회면민들이 영암사지의 환경을 정비하여 절터가 유지될 수 있었으며, 1984년, 1999년, 2002년 총 3회에 걸쳐 동아대학교박물관이 발굴조사하여 현재와 같은 모습으로 정비되었다.
황매산 남쪽 기슭에서 동-서축으로 배치된 산지가람이다. 크게 보면 3곳의 축대가 남아 있는데 중문터에서 회랑 터로 이어지는 곳과 금당 터 앞의 긴 축대, 금당 터 옆과 뒤를 두르고 있는 낮은 석축으로 화강암을 장방형으로 다듬어 쌓은 모양이다. 금당 터 앞의 축대는 한 가운데를 성벽의 치(雉)처럼 전면으로 튀어나와 있고 그 위에 합천 영암사지 쌍사자 석등(보물, 1963년 지정)이 놓여 있다. 이 축대 좌우에는 금당에 이르는 돌계단이 있는데, 통돌을 밖으로 휘어지게 깎은 무지개 다리 모양이며, 6단을 파냈다. 금당지보다 한 단 낮은 마당에 합천 영암사지 삼층석탑(보물, 1968년 지정)이 있다.
금당지의 기단은 화강석, 지대석, 면석, 갑석을 비교적 잘 갖춘 양호한 모양으로 사방에 계단이 한 개씩 남아 있다. 정면 계단의 소맷돌에는 용, 좌우측면 계단 소맷돌에는 가릉빈가를 조각하였으며, 뒷면을 제외한 삼면의 기단 면석에는 계단을 중심으로 하여 좌우에 사자상을 조각하였다. 나머지 기단 면석에는 안상(眼象) 문양을 새겨 놓았다. 금당은 정면 3칸, 측면 3칸인데, 초석이 두 줄로 놓여 있다. 바깥쪽의 낮은 초석이 오래된 것이고, 안쪽의 높은 초석이 후대의 것이라 판단되므로 금당이 두 번 이상 다시 지어진 것으로 추정된다. 중앙에는 H자형으로 짜여진 불상 지대석이 드러나 있다. 불상 지대석은 8매의 장대석으로 구성되고 표면에 팔부중상이 안상 안에 모각되었다. 금당지에서 남서쪽으로 약 50m 지점에 양쪽으로 귀부를 두고 그 사이에 또 하나의 동향한 독립된 건물지가 있는데 정면 3칸, 측면 1칸의 규모이다. 1984년 발굴조사 당시 통일신라시대부터 고려시대에 이르는 각종 와편(瓦片)과 토기편, 금동여래 입상 등이 발견되었다.
건물지의 초석이나 축대 등이 대부분 파손되어 원상을 유지하고 있는 것이 드물지만 일반사찰에서는 보긴 힘든 것이고 경남지방에서는 보기 드문 대찰(大刹)이자 통일신라 말 고려 초 산지가람이라는 점에서 의의가 있다.