1572년(선조 5)에 최응룡(崔應龍)·김취문(金就文) 등이 부사 송기충(宋期忠)에게 청하여, 길재(吉再)의 충절과 덕행을 추모하기 위하여 금오산 아래에 서원을 창건하여 위패를 모셨다.
1575년에 ‘금오’라고 사액되어 사액서원으로 승격되었다. 임진왜란 때 소실되었다가 지방유림이 부사 김용(金涌)에 청하여 지금의 위치에 복원하였으며, 1609년(광해군 원년)에 다시 사액을 받았다.
그 뒤 김종직(金宗直)·정붕(鄭鵬)·박영(朴英)·장현광(張顯光)을 추가 배향하여 선현배향과 지방교육의 일익을 담당하였다. 흥선대원군의 서원철폐 당시에 훼철되지 않고 존속한 47개 서원 중의 하나이다.
1972년에 단청번와하였다. 경내의 주요건물로는 상현묘(尙賢廟)·재실·정학당(正學堂)·누문(樓門) 등이 있다. 매년 봄·가을에 향사를 지내고 있으며, 소장전적 6종 23책이 있다.