1812년(순조 12)에 지방유림의 공의로 정지년(鄭知年) · 정승복(鄭承復) · 정사준(鄭思竣) · 정사횡(鄭思竑) · 정빈(鄭0x9A53)의 덕행과 충절을 추모하기 위하여 옥천동에 옥계사(玉溪祠)를 창건하여 위패를 모셨다.
선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐로 1868년(고종 5) 훼철되었다. 그뒤 1953년 유림의 협조로 현재의 위치에 복원하고 정선(鄭愃)을 추가 배향하였다.
경내건물로는 3칸의 사우(祠宇), 세충문(世忠門), 3칸의 강의당(講義堂), 4칸의 경모재(敬慕齋), 태화문(太和門), 4칸의 고직사(庫直舍), 중건기적비 등이 있다. 사우에는 정지년 · 정승복 · 정사준 · 정사횡 · 정빈 · 정선의 위패가 봉안되어 있다.
강의당은 강당으로 중앙의 마루와 양쪽 협실로 되어 있으며, 원내의 여러 행사와 유림의 회합 및 학문강론장소로 사용하고 있다. 경모재는 동재(東齋)로서 유생이 기거하면서 공부하는 장소로 쓰였으며, 세충문은 신문(神門)이고 태화문은 정문이다.
이 서원에서는 매년 3월 중정(中丁 : 두번째 丁日)과 8월 중정에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 1984년 전라남도 문화재자료(현, 문화유산자료)로 지정되었고, 재산으로는 대지 300평, 전답 4,000여 평, 임야 7정보 등이 있다.