신라시대 김유신(金庾信)이 사랑하던 기녀 천관(天官)의 집을 절로 바꾸어 창건하였다.
김유신은 어린 시절에 어머니 만명부인(萬明夫人)의 엄한 훈계를 명심하여 함부로 남과 사귀지 않았지만, 하루는 우연히 기녀 천관의 집에서 유숙하였다. 이에 어머니가 “네가 성장하여 공명을 세워 임금과 어버이를 영화롭게 하기를 밤낮으로 바랐는데, 이제 천한 아이들과 더불어 천한 방과 술집에서 놀아난단 말이냐.” 하고 흐느껴 울면서 훈계하였다. 그 때 김유신은 어머니 앞에서 다시는 그 집 문 앞을 지나가지 않겠다고 맹세하였으나, 술에 취하여 집으로 돌아오던 어느 날, 말이 이전에 다니던 길을 따라 그녀의 집에 이르렀다. 김유신이 잘못을 깨닫고 타고 갔던 말의 목을 베고 안장을 버린 채 돌아왔다. 이에 천관은 「원사(怨詞)」라는 노래를 읊었는데 널리 불렸다고 한다. 훗날 김유신은 삼국을 통일한 뒤 사랑하였던 옛 여인을 위하여 그녀의 집에 절을 세우고 그녀의 이름을 따서 천관사라 하였다.
창건 이후의 절의 역사는 알 수 없으나 고려 중기의 이공승(李公升)이 절 옆을 지나면서 시를 지은 것을 보면 당시까지는 존립하고 있었음을 알 수 있다. 현재 옛터는 논으로 변하였고, 전답 사이에 무너진 탑의 기단석과 옥개석 등이 논두렁에 흩어져 있다.