신라 선덕여왕 때 양지(良志)가 창건한 절이다. 그는 신기한 도술을 부릴 줄 아는 승려로서 석장(錫杖) 끝에 포대를 걸어놓으면 석장이 저절로 날아다니며 시주할 집에 가서 시주(施主)를 받았다.
지팡이가 시주할 집 대문 앞에 와서 목탁소리를 내면 그 집에서는 미리 양지가 보낸 것인 줄 알고 포대에 시주를 담아주었는데, 이렇게 해서 포대가 가득 차면 다시 날아서 돌아갔다고 한다. 이 때문에 양지가 거처하였던 이 절을 석장사라고 불렀다.
그러나 중창 및 중수의 역사는 전래되지 않으나, 조선 초기까지 있었던 것으로 추정된다. 한편, 절터에서는 1940년 5월에 ‘임신서기석(壬申誓記石)’이 발견되었는데, 임신년 6월 16일에 2인이 쓴 것이다. 임신서기석에는 '石杖寺'로 나와 있다. 1985년부터 동국대학교 경주분교 박물관 팀이 발굴 조사하여 불상 등 많은 유물들이 출토되었다.