조선 중기 군위 지방 유림들이 재사(齋舍)를 설립하여 시회(詩會) 등의 장소로 사용하여오다가, 1624년(인조 2)에 서원으로 승격되었다.
1627년 유성룡(柳成龍)의 학문과 덕행을 추모하기 위해 위패를 모셨으며, 1787년(정조 11) 이호민(李好閔)을 추가 배향하였다.
선현 배향과 지방 교육의 일익을 담당해오던 중, 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철(毁撤)되어 일부 건물만 남아 있다가, 1950년 한국전쟁 때 완전 전소 되었다. 1990년 현재의 위치에 복원되었다.