1571년(선조 4)에 지방유림의 공의로 이언적(李彦迪)과 이황(李滉)의 학문과 덕행을 추모하기 위해 서원을 창건하여 위패를 모셨다.
처음에는 남강(南江) 부근에 있었는데, 1621년(광해군 13)에 군북암산(郡北巖山) 밑으로 옮겼다가 뒤에 다시 남강유역의 우곡동으로 이건하였다.
당시 경내의 건물로는 묘우(廟宇)인 체례사(體禮祠), 강당인 전교당(典敎堂)과 신문(神門)·동재(東齋)·서재(西齋)·전사청(奠祀廳)·망도루(望道樓)·정문(正門)·주소(廚所) 등이 있었다. 선현배향과 지방교육의 일익을 담당하여오던 중, 대원군의 서원철폐령으로 1868년(고종 5)에 훼철된 뒤 복원하지 못하였다.