757년(경덕왕 16)에 창건되었다. 『삼국유사』에 의하면, 757년에 망덕사(望德寺)의 낙성회를 열어서 왕이 친히 공양을 베풀었는데, 그때 누추한 모습을 한 비구승이 찾아와서 재(齋)에 참석하게 해줄 것을 요청하였다.
왕은 말석에 첨례할 것을 허락한 뒤 재를 마치려 할 때, 그를 희롱하고자 사는 곳을 물었다. 그가 비파암(琵琶庵)에 산다고 하자 왕은 “돌아가서 다른 사람에게 국왕이 친히 불공하는 재에 참석했다고 말하지 말라.”고 하였다.
비구는 웃으면서 “왕 또한 다른 사람에게 진신석가(眞身釋迦)를 공양하였다는 말을 말라.”하고 몸을 솟구쳐서 남쪽을 향해 날아가 버렸다. 왕은 놀랍고 부끄러워 동쪽 산에 달려 올라가서, 사라진 방향을 향하여 절하고 사람들에게 가서 찾게 하였다.
그는 남산 참성곡(參星谷)이라는 곳에 이르러 바위 위에 지팡이와 바리때를 놓아두고 숨어버렸다. 사자(使者)가 와서 복명하니 왕은 석가사를 비파암 아래에 세우고 불무사(佛無寺)를 그의 자취가 없어진 곳에 세워 지팡이와 바리때를 나누어 봉안하게 하였다고 한다.
창건 이후 역사는 전혀 알 길이 없으나 일연(一然)이 『삼국유사』를 저술할 당시까지는 남아 있었다고 한다. 폐사가 된 현재의 골짜기에는 삼층석탑이었던 것으로 추정되는 석탑재들이 남아 있다. 자연석의 기단 옆에 옥신(屋身)과 옥개석(屋蓋石)이 있으며, 그 아래는 깨어진 옥개석이 있다.