정확한 창건연대는 미상이나 원효(元曉)가 머물렀던 절로서, 무열왕 이전에 창건된 것으로 추정된다.
《삼국유사》에 의하면 원효가 이곳에 살 때, 경주 만선북리(萬善北里)에 살고 있던 사복(蛇福)이 찾아와서 “그대와 내가 옛날 경(經)을 싣고 다니던 암소가 죽었으니 함께 가서 장사지내자.”라고 하여 예를 갖추고 장례를 지냈다.
그 때 원효가 “나지를 말지어다, 그 죽음이 괴롭도다. 죽지 말지어다, 그 태어남이 괴롭도다.”라고 하였다. 이에 사복이 시가 너무 번거롭다 하므로, 원효는 다시 “죽는 것도 나는 것도 모두 괴롭구나.”라고 하였다고 한다. 원효 이후 이 절에 관한 신라시대 사료는 전하지 않는다.
고려시대 1021년(현종 12) 현종이 상서좌승 이가도(李可道)에게 명하여 이 절에 있던 금라가사(金羅袈娑)와 불정골(佛頂骨), 창림사(昌林寺)의 불아(佛牙)를 가져오게 하여 내전에 안치하였다는 기록이 있는데, 이로 미루어 이때까지의 규모는 매우 컸던 것을 알 수 있다.
폐사에 관한 기록은 없지만, 1913년 절터에서 원효의 행적비인 서당화상비(誓幢和尙碑) 단편(斷片)이 일본학자들에 의하여 발견되었다.
이 비는 원효가 686년(신문왕 6) 혈사(穴寺)에서 죽었다는 것을 고증할 수 있는 유일한 자료이다. 절터에는 1962년 국보로 지정된 고선사지삼층석탑과 석등대석(石燈臺石)·귀부(龜趺) 등이 있었지만, 1975년 덕동댐 공사로 수몰지구가 됨에 따라 모두 국립경주박물관으로 이전되었다.
이 가운데 삼층석탑은 2000년 현재 해체 복원공사 중이다. 석등대석은 8잎의 복엽연화문(複葉蓮華文)을 조각하였으며, 길이 90㎝, 높이 38㎝이다.
귀부는 전체 길이가 160㎝이고, 비신을 세우는 자리 주위에는 단엽의 연화문을 새겼으며, 가로 56㎝, 세로 12㎝의 홈을 파서 비신을 세우게 하였다. 일본학자들은 서당화상비가 이 귀부 위에 있었던 것이라고 단언하였지만, 서당화상비는 두께만도 40㎝로서 이 비좌에는 맞지 않는 것이다.