1791년(정조 15)에 지방유림의 공의로 황보 인(皇甫仁)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1831년(순조 31)에 ‘광남’이라 사액되어 사액서원으로 승격되었으며, 선현배향과 지방교육의 일익을 담당하였다.
흥선대원군의 서원철폐령으로 1868년(고종 5) 훼철되었다가 그뒤 복원되어 오늘에 이르고 있다. 경내의 건물로는 3칸의 세덕사(世德祠), 8칸의 숭의당(崇義堂), 3칸의 동재(東齋)·서재(西齋), 신문(神門) 및 6칸의 주소(廚所) 등이 있다.
세덕사에는 황보 인의 위패가 봉안되어 있다. 숭의당은 강당으로 중앙의 마루와 양쪽 협실로 되어 있는데, 마루는 원내의 여러 행사와 학문의 토론장소로 사용되고, 협실 왼쪽 방은 헌관실, 오른쪽 방은 재석(齋席) 및 별유사의 방으로 사용되고 있다.
신문은 향사 때 재관의 출입문으로, 동재는 재원의 숙소로, 서재는 유생들의 공부방으로 각각 사용되었으며, 주소는 서원을 관리하는 고자가 사용하고 있다.
유물로는 황보 인의 책판과 문집 외에 서적 30여 권이 소장되어 있다. 매년 3월 중정(中丁)에 향사를 지내고 있으며, 제품은 4변(籩) 4두(豆)이다. 재산으로는 전답 2천평 등이 있다.