1574년(선조 7) 지방유림의 공의로 이곡(李穀)과 이색(李穡)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
임진왜란 때 소실되었다가 1610년(광해군 2)한산 고촌으로 이건, 복원하여 1611년 ‘文獻(문헌)’이라고 사액되었으며, 이종학(李鍾學) · 이개(李塏) · 이자(李耔)를 추가 배향하였다.
선현배향과 지방교육의 일익을 담당하여오던 중 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철되어 그 자리에 설단(設壇)하고 분향하여왔다.
그 뒤 1969년 지방유림이 복원하여 이종덕(李種德)을 추가 배향하였다. 경내의 건물로는 3칸의 사우(祠宇), 2층 누각으로 된 6칸의 강당, 4칸의 진수당(進修堂), 3칸의 목은영당(牧隱影堂), 5칸의 재실(齋室), 3칸의 전사청(典祀廳), 3칸의 수호사(守護舍), 내삼문(內三門) · 외삼문(外三門) · 이색 신도비 · 이종덕 효행비각 등이 있다.
사우에는 이색 · 이곡을 주벽(主壁)으로 이종학 · 이자 · 이개 · 이종덕의 위패가 봉안되어 있으며, 재실인 진수당은 유림의 회합 및 학문토론장소로 사용하고 있다.
전사청은 제구(祭具)를 보관하는 장소로, 수호사는 관리인의 숙소로 사용하며, 목은영당에는 이색의 영정이 봉안되어 있다.
이 서원은 1984년 충청남도 문화재자료(현, 문화유산자료)로 지정되었다. 매년 3월 중정(中丁)과 9월 중정에 향사를 지내고 있으며, 제품(祭品)은 8변(籩) 8두(豆)이다. 재산으로는 전답 2,000여 평, 임야 6,000여 평과 목은영당 대지 1,500여 평 등이 있다.