1590년(선조 23) 현령 박경선(朴慶先)이 감사 윤두수(尹斗壽)에게 제청하여 김반(金泮)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
임진왜란을 겪은 뒤 1593년 선조가 예관(禮官)을 이곳에 보내어 제사를 지내게 하였다. 뒤에 감사 윤두수의 아들 우(旴)가 군의 현령으로 부임하여 이러한 사실을 알고 선인들의 뜻을 받들어 서원을 중수, 확장하였으나 병자호란 때 다시 소실되었다.
1674년(현종 15) 현령 조후근(趙侯根)이 그 자리에 정자와 비석을 세웠으며, 유림 곽이완(郭以完)이 서원 복원 및 사액을 청하여 1686년(숙종 12) ’학동‘이라고 사액되었다. 그 뒤 대원군의 서원철폐로 1868년(고종 5) 훼철되었으며, 1950년대 이후의 사항은 미상이다.