1688년(숙종 14)에 지방유림의 공의로 계백(階伯)과 박팽년(朴彭年) · 성삼문(成三問) · 이개(李塏) · 유성원(柳誠源) · 하위지(河緯地) · 유응부(兪應孚) 등 사육신의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
선현배향과 지방교육의 일익을 담당하여 오던 중, 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다. 그 뒤 1933년에 지방유림의 공의로 관계당국의 협조를 얻어 복원하였으며, 이현동(李賢童) · 박증(朴增) · 김정망(金廷望) · 김익겸(金益兼) · 김홍익(金弘益) · 이민진(李敏進) · 김만중(金萬重) · 박종(朴種) · 조병시(趙秉始) · 김자빈(金自殯) · 이학순(李學純) 등 11명을 추가 배향하였다.
경내의 건물로는 3칸의 사우(祠宇), 중앙의 신문(神門)과 양옆의 협문(夾門)으로 된 내삼문(內三門), 각 3칸의 동재(東齋) · 서재(西齋), 성삼문의 유허비(遺墟碑), 정문(旌門) 등이 있다. 사우에는 계백을 주벽(主壁)으로 하여 17현의 위패가 좌우에 배향되어 있다.
동재와 서재는 제향 때 제관(祭官)들의 숙소 및 유림의 강학장소로 사용되고 있다. 현재 충곡서원지(忠谷書院址)는 1976년 충청남도 기념물로 지정되었다.
이 서원에서는 매년 3월 중정(中丁 : 두 번째 丁日)과 9월 중정에 향사를 지내고 있으며, 제품(祭品)은 7변(籩)7두(豆)이다. 재산으로는 서원대지 700여 평, 전답 1,800여 평, 임야 6,000여 평 등이 있다.