1685년(숙종 11) 금의(琴儀)의 학문과 덕행을 추모하기 위해 사우(祠宇)를 건립하여 위패를 모셨으며, 1784년(정조 8) 서원으로 승원하였다. 1832년(순조 32) 정운경(鄭云敬)·금휘(琴徽)·금원정(琴元貞)·금축(琴軸)을 추가 배향하여 선현배향과 지방교육의 일익을 담당하여 왔다.
그 뒤 1868년(고종 5) 대원군의 서원철폐령으로 훼철된 뒤 복원되지 못하였으며, 현재 강당인 문계정사(文溪精舍)만 남아 있다. 문계정사는 8칸으로 중앙의 마루와 양쪽 협실로 되어 있는데, 지방유림의 여러 행사와 회합 등에 쓰이고 있다.