1707년(숙종 33) 지방유림의 공의로 주세붕(周世鵬)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그 뒤 주이(周怡)·강인수(姜仁壽)·문익성(文益成)·강대수(姜大遂)를 추가배향하여 선현배향과 지방교육의 일익을 담당하였다.
흥선대원군(興宣大院君)의 서원철폐령으로 1868년(고종 5)에 훼철된 뒤 완전히 복원되지는 못하였으며, 경내의 건물로는 3칸의 호연정(浩然亭), 3칸의 사우(祠宇), 4칸의 영모재(永慕齋) 등이 남아 있다. 사우의 중앙에는 주세붕의 위패, 왼쪽에는 주이와 강인수의 위패, 오른쪽에는 문익성과 강대수의 위패가 각각 봉안되어 있다.
영모재는 중앙의 마루와 양쪽 협실로 되어 있으며, 서원의 여러 행사 및 유림의 회합장소로 사용되어왔으나 지금은 향사 때 숙식하는 곳으로 사용되고 있다. 매년 3월 하정(下丁: 세번째 丁日)과 9월 하정에 향사를 지내왔으며, 제품(祭品)은 4변(籩) 4두(豆)이었으나, 지금은 간략하게 향사를 치르고 있다.