1694년(숙종 20) 지방유림이 이황(李滉)과 정경세(鄭經世)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
선현배향과 지방교육의 일익을 맡아오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다가, 1935년부터 고산서당이라 명명하여 서당으로 사용하고 있다. 경내의 건물로는 4칸의 정당(正堂)과 문루 · 서당 · 협문 · 초가 등이 있다.
현재의 고산서당에는 구도문(求道門)이라 쓰인 현판이 걸려 있고, 초가에는 고자(庫子)가 살고 있다. 과거 서원에서는 매년 3월 중정(中丁 : 두번째 丁日)과 9월 중정에 향사를 지내왔으며 제품은 4변(籩) 4두(豆)이었다.
지금은 정일이 없이 1년에 한 차례 지방유림들이 모여 선현을 추모하기 위한 회합을 가지고 있다. 재산으로는 전답 1만1000여평, 대지 300평, 임야 7,800평 등이 있다.