1611년(광해군 3) 지방유림의 공의로 박연(朴堧)·박사종(朴嗣宗)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
그 뒤 1665년(현종 6)에 김자수(金自粹)·송방조(宋邦祚)·송시영(宋時榮), 1695년(숙종 21)에 송시열(宋時烈), 1721년(숙종 38)에 윤황(尹煌)을 추가배향하였다.
선현배향과 지방교육의 일익을 담당하여오던 중 1868년(고종 5) 대원군의 서원철폐령으로 훼철되었다. 그 뒤 지방유지들이 공의하여 서원터에 영서서당(永西書堂)을 건립, 운영하여오다가 신교육이 실시되면서 서원의 재단을 학교에 제공하였다.