1673년(현종 14) 지방유림의 공의로 이희맹(李希孟) · 김제민(金齊閔) · 최안(崔安) · 김지수(金地粹)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1697년(숙종 23)김제안(金齊顔)과 1840년(헌종 6)김흔(金昕)을 추가배향하여, 선현배향과 지방교육의 일익을 담당하였다. 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었으나, 1913년 유허비(遺墟碑)를 세우고 1962년 유림에 의하여 복원됨과 동시에 김섬(金暹)과 김습(金習)을 추가배향하였다.
경내의 건물로는 3칸의 사우(祠宇), 신문(神門), 3칸의 도계서당(道溪書堂), 3칸의 양사재(養士齋), 4칸의 고사(庫舍), 대문 등이 있다. 사우에는 이희맹 · 김제민 · 김제안 · 최안 · 김흔 · 김섬 · 김습 · 김지수의 위패가 봉안되어 있다.
도계서당은 강당으로도 사용되어 원내의 여러 행사와 유림의 회합 및 학문의 토론장소로 사용되어왔으며, 양사재는 수학하는 유생이 거처하는 곳이다.
이 서원은 1984년 전라북도 문화재자료(현, 전북특별자치도 문화유산자료)로 지정되었으며, 해마다 9월 중정(中丁 : 두번째 丁日)에 향사를 지내고 있다. 제품(祭品)은 4변(籩) 4두(豆)이며, 유물로는 『금곡사지(金谷祠誌)』 1책 등 20여 권의 문헌이 있다. 재산으로는 대지 300여 평과 전답 1,000여 평이 있다.