1664년(현종 5)에 지방유림의 공의로 조위(曺偉)·박영(朴英)·김시창(金始昌)·박응훈(朴應勳)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그 뒤 1707년(숙종 33)에는 남지언(南知言)·박유동(朴惟棟)을 추가배향하였다.
1726년에 ‘송계(松溪)’라는 사액을 받았으며, 선현배향과 지방교육의 일익을 맡아오던 중 대원군의 서원철폐령으로 1871년(고종 8)에 훼철된 뒤 복원하지 못하였다. 따라서, 위패를 서원터에 매안(埋安)하고 설단(設壇)하여 매년 음력 3월에 향사를 지내고 있다.
그 뒤 1954년경안삼준(安三俊)·남형우(南衡祐)·박제원(朴濟元) 등을 중심으로 한 유림이 유허비와 비각을 설립하였다.