『삼국유사(三國遺事)』 의해편 ‘승전촉루(勝詮髑髏)’ 조에 의하면 갈항사(葛項寺)는 신라의 승려 승전(勝詮)에 의해 창건되었다. 승전은 의상(義相)의 제자이며, 당에 유학하여 현수 법장(賢首法藏)에게 수학하였던 화엄종의 승려이다. 승전은 귀국하면서 법장의 저술인 『탐현기(探玄記)』, 『교분기(敎分記)』, 『기신소(起信疏)』 등과 함께 법장이 의상에게 보낸 서신도 함께 가져왔다. 또한 승전은 갈항사에서 돌 80여 개를 대상으로 『화엄경(華嚴經)』을 강의하였다.
갈항사는 처음 작은 절로 개창하였고, 758년(경덕왕 17)에 중창하였다. 갈항사 삼층 석탑 중 동탑 기단부에는 탑의 건립과 중창에 대한 명문이 남아 있다. 탑은 758년(경덕왕 17)에 조성하였고, 명문은 그보다 뒤인 원성왕 대(785~798)에 새겼다. 내용에 따르면 영묘사(零妙寺)의 언적(言寂) 법사와 소문태후(昭文太后), 경신태왕(敬信太王), 즉 원성왕(元聖王) 등이 탑의 건립에 관여하였다.
원성왕 모친인 박씨 계오부인(繼烏夫人)의 칭호가 원성왕(元聖王) 때 추봉된 시호인 소문황태후라고 기록되어 있고, 원성왕의 시호가 아닌 휘(諱)가 쓰여 있는 점을 볼 때 석탑기를 새긴 것은 원성왕 즉위 이후일 것으로 추정된다. 따라서 갈항사 중창은 삼층 석탑을 세운 시기와 탑에 명문을 새긴 시기, 총 2차례에 걸쳐 이루어졌다.
『신증동국여지승람(新增東國輿地勝覽)』 권29 ‘불우(佛宇)’ 조에 갈항사에 대한 기록이 있는 것으로 보아 조선 중기까지는 사찰이 유지되었음을 알 수 있다. 그러나 조선 후기에는 갈항사에 대한 기록이 보이지 않으므로 폐사되었던 것으로 보인다. 갈항사 폐사 시점은 대개 1799년 『범우고(梵宇攷)』가 편찬될 무렵으로 짐작하고 있다. 한편 김정호가 1861~1866년경 편찬한 『대동지지(大東地志)』에 금오산 서쪽에 갈항사가 있다고 기록하였기 때문에 이 시기까지 갈항사가 존재했을 가능성도 있다.
현재 사지는 상단부와 하단부 두 구역으로 나뉜다. 상단부는 암자가 들어서 있고, 하단부는 경작지가 있으며 북서쪽에 보물로 지정된 석조 여래 좌상(石造如來坐像) 1구가 보호각에 봉안되어 있다. 동쪽에는 철제 보호각 안에 비로자나 석불 좌상(毘盧遮那石佛坐像) 1구가 봉안되어 있다. 남쪽에는 동 · 서 삼층 석탑의 원위치를 표시한 표지석이 있다. 한편 김천 직지사 성보 박물관에는 갈항사지에서 옮겨 왔다고 하는 석탑 기단 면석 4매가 전시되어 있다.
갈항사에는 동 · 서 삼층 석탑이 있었다. 1916년 2월 12일에 일본인 도굴범들이 탑을 훼손하고 유물을 훔쳐 간 사건이 발생했으며, 보존 차원에서 같은 해 6월과 1921년 3월에 동탑과 서탑을 조선총독부박물관, 즉 경복궁 야외 정원으로 옮겨 복원 · 전시하였다. 각 석탑에서는 사리 장엄구가 출토되었다. 지금은 두 개의 석탑이 국립중앙박물관의 석조물 정원 야외 전시실로 이전되었다. 사리 장엄구는 국립경주박물관에서 소장하고 있다. 2000년에 보호각 건립 과정에서 촉루로 추정되는 석조물 18점이 추가로 발견되었다.
갈항사의 위치와 창건 및 중창 세력의 성격은 원성왕 대를 전후한 시기의 신라 역사를 이해하는 데 중요하다. 또한 동탑 기단부에 새겨진 석탑의 명문을 통해 언제 누구의 발원으로 이 탑이 세워졌는지를 알 수 있어 역사학, 불교사, 미술사는 물론 금석학과 언어학 연구에서 중요하다.