1838년(헌종 4)에 지방유림의 공의로 장순(張峋)·장영(張嶸)·장급(張岌)·장현도(張顯道)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
그 뒤 장제원(張悌元)을 추가 배향하여 선현배향과 지방교육의 일익을 담당하여 오던 중, 대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었다. 훼철되기 전의 경내 건물로는 사우(祠宇)·강당·동재(東齋)·서재(西齋)·정문(正門) 등이 있었다. 지금까지 복원되지 못하고 장현광의 정자와 서원터만 남아 있다.