1670년(현종 11)에 지방유림의 공의로 박흥종(朴興宗)·송상현(宋象賢)·정온(鄭蘊)·김상헌(金尙憲)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 그 뒤 민유중(閔維重)과 김창협(金昌協)을 추가배향하고 1676년(숙종 2)에 이식(李植)을 추가배향하여 선현배향과 지방교육의 일익을 담당하여왔다.
1741년(영조 17) 서원의 사건(私建)과 사향(私享) 금지령에 의하여 일시 훼철되었다가 후일 지방유림들에 의하여 복원되었다. 당시 경내건물로는 사우(祠宇)·원당(院堂) 등이 있었다. 그 뒤 1868년(고종 5) 대원군의 서원철폐령으로 훼철되어 복원하지 못하였다.