1643년(인조 21)에 지방유림의 공의로 박희중(朴熙中)의 학문과 덕행을 추모하기 위해 위남영당(葦南影堂)을 창건하여 위패를 모셨다. 1718년(숙종 44)에 영당이 서원으로 승격되어 ‘학림(鶴林)’이라고 칭하게 되었으며, 서원으로 승격되었으며, 같은 해에 김온(金穩)·김영렬(金英烈)·김응두(金應斗)·박원순(朴元恂)·박준철(朴濬哲)을 추가 배향하였다.
그 뒤 다시 이문룡(李文龍)과 김희서(金羲瑞)를 추가 배향하였다. 선현배향과 지방교육의 일익을 담당하여오던 중 1868년(고종 5)에 대원군의 서원철폐로 훼철되었다. 그 뒤 1983년에 전라남도 유림 및 본손들에 의하여 유허비(遺墟碑)와 신실(神室)·내삼문(內三門) 등을 건립하고 서원도 복원을 추진하고 있다.