597년(진평왕 19)에 창건하였으며, 삼랑이라는 절 이름은 세 사람의 화랑을 지칭하는 뜻이라고 짐작되지만, 사료의 부족으로 그 유래에 대한 기록은 찾을 수 없다.
『삼국유사』에는 신문왕의 국사(國師)였던 경흥(憬興)이 이 절에 머무르면서 저술에 힘썼는데, 그가 머무른 것은 창건된 지 70년 뒤의 일이라고 한다. 또한, 그는 이 절에서 두 번씩이나 대성(大聖)의 교시(敎示)를 받았다고 하는데, 여승의 해학적인 춤을 보고 병이 나았다는 설화와, 문수보살(文殊菩薩)이 말을 타고 다니는 것을 경책한 설화가 전하고 있다.
그 뒤의 역사는 전혀 전하지 않는다. 현재 집들이 들어선 사이에 1963년 보물로 지정된 경주 삼랑사지 당간지주만이 남아 있고, 주춧돌이나 다른 석조유물들은 집 사이에 파묻혀 옛 모습을 찾을 길이 없다.