조선시대 숙종 때에 지방유림의 공의로 김수남(金秀南)의 충절을 기리기 위하여 은진현 가약곡면 조정리에 창건하여 위패를 모셨다. 창건과 동시에 ‘금곡(金谷)’이라고 사액되었다가 1773년(영조 49)에 조령(朝令)으로 훼철되었다.
그 뒤 1784년(정조 8)에 현재의 위치로 이건하여 복원하고, 1863년경에 성삼문(成三問)과 조계명(曺繼明)을 추가 배향하였다. 선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되어, 서원 터에 설단(設壇)하고 춘추로 향사를 지내오다가 1977년에 복원하였다.
경내의 건물로는 3칸의 사우, 각 2칸의 동재(東齋) · 서재(西齋)와 중앙의 마루로 된 에이치자형(H字形)의 강당, 중앙의 신문(神門)과 양쪽 협문(挾門)으로 된 내삼문(內三門) · 외삼문(外三門), 4칸의 고직사(庫直舍), 3칸의 전사청(典祀廳), 그밖에 김수남의 정문(旌門)과 충노(忠奴) 무작김(無作金)의 불망비(不忘碑) 등이 있다.
사우의 중앙에는 김수남 · 성삼문 · 조계명의 위패가 봉안되어 있다. 강당의 동재와 서재는 제향 때 제관들의 회합 및 숙소로 활용하거나, 유생들의 학문강론장소로 사용하여왔다. 전사청은 제향 때 제수(祭需)를 장만하여두고, 제기를 보관하는 곳으로 사용한다.
이 서원에서는 매년 음력 3월 3일과 9월 9일에 향사를 지내고 있으며, 제품(祭品)은 7변(籩) 7두(豆)이다. 1984년에 충청남도 문화재자료(현, 문화유산자료)로 지정되었으며, 재산으로는 대지 4백여평과 전답 3천여평 등이 있다.