천관사는 천관(天官)의 집터에 세운 절로, 김유신(金庾信)과 관련된 이야기가 전한다.
김유신은 젊었을 때 우연히 천관이라는 기생을 알게 되었는데, 깊은 정에 빠져 매일 그녀의 집에 찾아가곤 하였다. 이 사실을 안 김유신의 어머니는 아들을 불러 “네가 장차 이 나라의 대들보가 되어 공명을 세워 나라에 충성하고 부모를 영화롭게 하기를 바랐는데, 천한 기생과 사귀어 스스로 귀함을 버리니 웬일이냐”고 물으면서 흐느껴 울었다. 김유신은 크게 뉘우친 뒤 “다시는 천관의 집 근처에도 가지 않겠다”고 하였다.
어느 날 김유신은 오랜만에 만난 친구와 취하도록 술을 마시고서 집으로 돌아왔는데, 그를 태운 말이 어느새 천관의 집 앞에 이르러 멈추었다. 천관은 오랫동안 만나지 못한 김유신을 보자 기쁘기도 하고 원망스럽기도 하였지만 감회를 억누르고 문앞으로 뛰어나왔다. 그러나 정신을 차린 김유신은 어머니와의 약속을 어기고 대장부의 결심을 헛되이 한 죄가 모두 말 때문이라면서, 말의 목을 벤 뒤 뒤도 돌아보지도 않고 집으로 돌아갔다. 이 일로 인해 천관은 김유신을 사모하며 원망하는 노래인「원사(怨詞)」를 짓고서 죽고 말았다. 뒷날 김유신은 사랑하였던 옛 여인 천관을 위하여 그녀의 집터에 절을 세워 천관사라 불렀다고 한다.
현재 절터는 모두 경작지로 변하여, 당시 절의 전체적인 규모와 건물의 배치 등은 알 수 없다. 다만 곳곳에 당시의 것으로 보이는 석탑의 일부분과 기와 조각들이 논두렁의 잡석 틈에 끼여 남아 있다. 이 가운데에는 돋을새김된 2단의 굄대가 8각을 이루고 있는 2장의 판석이 주목된다.