신라 경덕왕 때 창건되었으며 지금은 자연암석에 조성된 사방불(四方佛)만이 남아 있다. 경덕왕이 백률사로 가기 위해서 금강산 아래에 이르렀을 때 땅속에서 염불하는 소리가 들렸으므로, 땅을 파게 했더니 사방불이 새겨진 돌이 나왔다. 그곳에다 절을 짓고 굴불사라 했다고 한다.
그러나 그 뒤의 역사는 전해지지 않고 있다. 다만 1985년의 발굴조사 결과 이곳에서 ‘동사(東寺)’라고 새겨진 기와가 고려시대 층위에서 발견되어, 한 때 동사로 불렀음을 알 수 있다. 또한 1183년(명종 13)에 중수가 있었음을 『삼국유사(三國遺事)』의 내용을 통하여 확인할 수 있는데, 몽고의 침략이 있었던 13세기 중반에 폐사될 때까지 ‘굴석사(掘石寺)’로 불렀다고 한다.
그 뒤 조선시대에 들어와 1681년(숙종 7) 중창되었으나 18세기를 전후한 시기에 다시 폐사되고 사면석불만 남아 있게 된 듯하다. 현재 유지에는 1963년 보물로 지정된 경주 굴불사지 석조사면불상이 있다. 이 석불은 경주 남산 칠불암(七佛庵)의 사면석불과 안강 금곡사지(金谷寺址)의 사방불, 호원사지(虎願寺址)의 사방불과 함께 우리나라 사방불의 특징을 연구하는 데 중요한 자료가 된다.