고려왕실의 원찰(願刹)로서, 929년(태조 12) 인도 승려 마후라(摩喉羅)가 고려에 왔을 때, 태조가 크게 영접하고 이 절을 창건하여 그를 머물게 한 것으로 알려져 있다.
창건 약 100년 뒤 최충(崔冲)이 절의 동구 오른쪽에 구재학당(九齋學堂)을 열었으며, 1073년(문종 27) 문종이 이 절의 구대(龜臺)에서 태자와 중신들과 더불어 잔치를 한 뒤 늦게 돌아갔다.
또한, 숙종은 105년 8월1에, 예종은 1107년 3월과 12월, 1115년 5월, 1117년 12월, 1121년 12월에 각각 이 절에 행행(幸行)하였으며, 인종은 1123년 5월에 이 절을 찾았다. 1285년(충렬왕 11) 충렬왕이 구산사를 찾아가 구재학도(九齋學徒)들의 여름 공부를 구경하였을 때는 여러 생도들이 왕에게 가요를 지어 바쳤고, 왕은 과일과 술을 하사하였다.
1341년 6월에는 충혜왕이 이곳에서 연회를 베풀었다. 이 절은 고려의 왕실 및 구재학당과 깊은 관련 속에 존립되어오다가 고려의 멸망 이후 폐사되었다.