1564년(명종 19)에 순천부사 이정(李楨)을 중심으로 한 지방유림의 공의로 김굉필(金宏弼)의 학문과 덕행을 추모하기 위하여 정사(精舍)를 창건하여 위패를 모셨다.
1568년(선조 1)에 ‘옥천(玉川)’이라고 사액되어 서원으로 승격되었으며, 1597년에 소실되었다가 1604년허건(許鍵) · 심윤(沈玧) · 정지추(鄭之推) 등에 의하여 중건되었다. 선현배향과 지방교육의 일익을 담당하여오던 중, 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었으며, 그 뒤 유림에 의하여 복원되었다.
경내의 건물로는 3칸의 사우(祠宇), 4칸의 경현당(景賢堂), 4칸의 지도재(志道齋), 4칸의 의인재(依仁齋), 1칸의 전사청(典祀廳), 내삼문(內三門), 외삼문(外三門), 4칸의 고직사(雇直舍) 등이 있다.
사우에는 김굉필의 위패가 봉안되어 있으며, 서원의 강당인 경현당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문강론장소로 사용되고 있다. 지도재와 의인재는 각각 동재(東齋)와 서재(西齋)로서 수학하는 유생들이 거처하는 곳이며, 전사청은 향례(享禮) 때 제수(祭需)를 마련하여두는 곳이다.
이 서원은 1984년 전라남도 문화재자료(현, 문화유산자료)로 지정되었다. 매년 3월 중정(中丁 : 두번째 丁日)과 9월 중정에 향사를 지내고 있으며 제품(祭品)은 4변(籩) 4두(豆)이다. 서책은 선조가 내린 사서(四書)를 비롯하여 200여 권의 장서가 소장되어 있고, 재산으로는 전답 8,000평이 있다.