조선 선조 때 지방유림의 공의로 정몽주(鄭夢周)·조광조(趙光祖)의 학문과 덕행을 추모하기 위하여 창건, 위패를 모셨다. 1694년(숙종 20) 김상헌(金尙憲)·조익(趙翼), 1696년 민정중(閔鼎重), 그 뒤 조상강(趙尙綱)·조명정(趙明貞)을 추가 배향, 선현배향과 지방교육의 일익을 담당하였다.
흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었으며, 복원 여부는 미상이다. 이 서원의 특색은 분원격인 사원(祠院)이 각 면에 설치되어 있는 것으로, 정평면에 흥인사(興仁祠), 신상면에 쌍봉사(雙峰祠), 광덕면에 덕봉사(德峰祠), 문산면에 문산사(文山祠), 주이면에 동산사(東山祠), 문산면에 정충사(精忠祠)·녹충사(麓忠祠) 등이 있었다.