1670년(현종 11) 지방유림의 공의로 최산두(崔山斗)·정구(鄭逑)·안방준(安邦俊)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
그 뒤 1676년(현종 5)에 임억령(林億齡)을 추가배양하였으며, 1687년(숙종 13)에 ‘道源(도원)’이라는 사액되어 사액서원으로 승격되었으며, 선현배향과 지방교육의 일익을 담당하여 오던 중 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다가 1976년 전라남도 유림들에 의하여 복원되어 오늘에 이르고 있다.
경내의 건물로는 3칸의 사우(祠宇), 3칸의 규일문(揆一門), 5칸의 집성재(集誠齋), 5칸의 숭의재(崇義齋), 3칸의 건공문(虔恭門)과 기타 관리사 등이 있다. 사우의 북벽(北壁)에는 최산두·임억령·정구·안방준의 위패가 봉안되어 있다.
집성재와 숭의재는 각각 동재(東齋)와 서재(西齋)로서, 제관(祭官) 또는 임원이 향례 때 거처하는 곳으로 사용하고 있다.
이 서원에서는 매년 3월 15일과 9월 15일에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 소장된 유물로는 중종이 하사한 옥홀(玉笏)이 있고, 서적으로는 『노사집(蘆沙集)』을 비롯하여 30여 책이 있다. 재산은 전답 6,300여 평 등이 있다.