일명 장의사(莊義寺)라고도 한다. 지금은 1963년 보물로 지정된 당간지주(幢竿支柱)만이 남아 있다. 『삼국사기』신라본기 태종무열왕 6년 10월조에 의하면 창건 시기는 659년(태종무열왕 6)이다. 『삼국유사』「장춘랑 파랑」조 기사에서는 장의사가 에 황산벌(黃山伐) 싸움에서 전사한 신라의 장춘랑(長春郎)과 파벌구(罷伐九)의 명복을 빌기 위하여 창건하였다고 되어 있으나 이러한 창건설화는 후대의 윤색으로 여겨진다.
그 뒤 신라시대의 역사는 알 수 없으나 고려시대에는 예종·인종·의종 등이 행차하였고, 조선시대에는 태조가 정비(正妃)인 한씨(韓氏)의 기신제(忌晨祭)를 이 절에서 지냈기 때문에 그 뒤로 왕실의 비호를 받아 사세를 떨치게 되었다. 그러나 1506년(연산군 12) 연산군이 일대를 유연(遊宴)의 장소로 삼아 절을 헐고 화계(花階)를 만들어 꽃을 심게 하여 폐사된 채 내려왔는데, 이괄의 난 이후 총융청(總戎廳)이 들어서게 되었다. 현존하는 당간지주는 어느 시기에 세워진 것인지는 확실히 알 수가 없으나, 창건 당시의 것은 아니며, 망덕사지(望德寺址)의 당간지주와 비교하여 통일신라시대의 것으로 추정되고 있다.