1630년(인조 8)에 지방유림의 공의로 최덕지(崔德之)의 학문과 덕행을 추모하기 위하여 존양사(存養祠)를 창건하고 위패를 모셨다.
1665년에 최충성(崔忠成), 1695년(숙종 21)에 김수항(金壽恒), 1711년에 김창협(金昌協)을 추가 배향하였으며, 1713년에 ‘녹동(鹿洞)’이라고 사액되어 서원으로 승격하였다.
선현배향과 지방교육의 일익을 담당하여 오던 중 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었으나, 1976년 지방유림에 의하여 복원되어 오늘에 이르고 있다.
경내의 건물로는 3칸의 사우(祠宇), 내삼문(內三門), 4칸의 강당(講堂), 4칸의 고직사(雇直舍), 비석(碑石), 단비(壇碑) 등이 있다. 사우의 서쪽에는 최덕지와 김수항의 위패가, 동쪽에는 최충성·김창협의 위패가 각각 봉안되어 있다.
강당의 중앙에는 마루가 있고 양쪽에는 협실이 있는데, 원내의 여러 행사와 제관(祭官)의 숙소 등으로 사용된다. 이 서원에서는 해마다 4월 5일에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다. 유물로는 최덕지영정 및 유지초본이 1975년에 보물로 지정되었으며, 재산으로는 전답 2,400평과 임야 2.3정보 등이 있다.