임유후(任有後)가 집안의 재앙을 만나 이 곳에 내려와 고산(孤山) 위에 정사를 짓고 20여년간 제자를 가르치고 학문을 연구하였는데, 그가 죽자 제자들이 유덕을 추모하기 위해 고산사(孤山祠)를 건립하여 위패를 모셨다.
그 뒤 이곳의 현령으로 부임한 오도일(吳道一)은 김시습(金時習)이 자주 다녀간 행곡리주천대(酒泉臺)에 그의 학문과 덕행을 추모하기 위하여 동봉별묘(東峰別廟)를 세우고 구암사(龜巖祠)라 하였다.
그 당시 현령에게 아첨하는 자가 있어 재임 당시인 1693년 오도일의 생사(生祠)를 지었다가, 그가 죽은 뒤 1715년(숙종 41) ‘孤山(고산)’이라는 사액을 받고 고산서원으로 승격되어 임유후·김시습·오도일을 합향하게 되었다.
선현배향과 지방교육의 일익을 담당하여오던 중, 대원군의 서원철폐령으로 1868년(고종 5)에 훼철된 뒤 복원하지 못하였다. 위패는 땅에다 묻었으며 학위전(學位田)은 향교에 헌납하였다.
현재 서원터에는 유허비만 남아 있으며, 《전고대방 典故大方》에 의하면 고산서원은 구암서원(龜巖書院)과 일원양우(一院兩宇)라 되어 있다. 이 서원이 훼철되기 전 경내의 건물로는 묘우인 고산사와 강당·신문·동재·서재·정문·전사청(奠祀廳)·주소(廚所) 등이 있었다.