1636년(인조 14) 지방유림의 공의로 박윤(朴潤)·박택(朴澤)·윤규(尹奎)·박정번(朴廷璠)·최여설(崔汝契)의 학문과 덕행을 추모하기 위해 사우(祠宇)를 건립하여 위패를 모셨으며, 1707년(숙종 33) 서원으로 승원하였다.
선현배향과 지방교육의 일익을 담당해 오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철된 뒤 복원하지 못하였으며, 문연재(文淵齋)를 건립하여 유림의 회합을 계속해왔다. 1928년 서원 유지에 유허비를 건립하였다.