1691년(숙종 17)에 지방유림의 공의로 이알평(李謁平)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그 뒤 이개(李開)와 이우칭(李禹偁)을 추가 배향하여 선현배향과 지방교육의 일익을 담당하여왔다.
1868년(고종 5)에 대원군의 서원철폐령으로 훼철되었다가 그 뒤 복원하였다. 경내의 건물로는 3칸의 충의사(忠義祠), 신문(神門), 8칸의 강당, 3칸의 망월루(望月樓), 5칸의 만서정사(晩棲精舍), 3칸의 화수정(花樹亭), 고사(庫舍) 등이 있다.
묘우인 충의사에는 이알평을 주벽(主壁)으로 이개와 이우칭의 위패가 봉안되어 있다. 이 서원에서는 매년 3월 중정(中丁 : 두번째 丁日)과 9월 중정에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다.