조선 중종 때김세필(金世弼)이 현재의 위치에 서재(西齋)를 짓고 은거하였는데, 그가 죽자 지방 유림의 공의로 김세필을 추모하기 위해 서원으로 개조하여 위패를 모셨다. 선현 배향(配享)과 지방 교육의 일익을 담당해 오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철(毁撤)되었다.
그 뒤 1893년에 유림과 후손들이 협의하여 제단(祭壇)을 설치하고 향사(享祀:제사)를 지내오다가 1906년에 복원하였으며, 김자수(金自粹)·김저(金䃴)·김의(金嶷)·김정현(金鼎鉉)·김홍욱(金弘郁)·김종현(金宗鉉)·박상(朴祥)을 추가 배향하였다. 그 후 1963년에 중수하고, 1986년에 보수하였다.
경내의 건물로는 정면 3칸, 측면 2칸의 사우(祠宇), 중앙의 경모문(景慕門)과 양 옆의 협문(夾門)으로 된 삼문(三門), 정면 4칸, 측면 2칸으로 된 재실(齋室), 고직사(庫直舍), 유허비(遺墟碑), 홍살문 등이 있다.
사우에는 김자수를 주벽(主壁)으로 좌우에 김세필·박상·김제·김의·김홍욱·김정현·김종현의 위패가 봉안되어 있다. 재실은 향사 때 제관들의 숙소로 사용하는 한편, 지방 유생의 학문 강론 장소 및 각종 행사 때의 협의 장소로 사용하고 있다. 고직사는 평소에 관리인이 주거하며, 향사(享祀:제사) 때에는 제기(祭器) 보관 및 제관의 숙소를 겸하고 있다.
이 서원에서는 매년 3월 초정(初丁:첫번째 丁日)과 9월 초정에 향사를 지내고 있으며, 제품(祭品:제사 음식)은 7변(籩)7두(豆)이다. 유물로는 〈서원중건기 書院重建記〉와 〈서원중수기 書院重修記〉, 8선현의 행적약(行蹟略) 등이 있다. 재산으로는 대지 1,200여 평, 전답 7,000여 평, 임야 5정보 등이 있다.