1656년(효종 7)에 지방유림의 공의로 장봉한(張鳳翰)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1791년(정조 15)에 가곡리에서 이곡리로 이건하였으며, 1855년(철종 6) 장이유(張以兪)를 추가 배향하였다.
당시의 경내 건물로는 사우(祠宇)·신문(神門)·전사청(典祀廳)·동재(東齋)·서재(西齋)·중정당(中正堂) 등이 있었다. 선현배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다. 그 뒤 4칸의 계신재(繼愼齋)만을 신축하여 유림의 회합장소로 사용하고 있다.