1621년(광해군 13)에 지방유림의 공의로 김시습(金時習)의 학문과 덕행을 추모하기 위해 부여군 외산면 만수리에 창건하여 위패를 모셨다. 1674년(숙종 즉위년)에 ‘청일(淸逸)’이라 사액되어 선현배향과 지방교육의 일익을 담당하여왔다.
그 뒤 대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었다가 1884년 지방유림의 적극적인 노력으로 현재 위치에 이건하였다. 이와 동시에 김효종(金孝宗)을 추가 배향하여 선현배향과 지방교육의 일익을 담당하여 왔다.
경내의 건물로는 2칸의 청일사(淸逸祠), 정문(正門), 5칸의 청풍각(淸風閣) 등이 있다. 사우(祠宇)인 청일사에는 김시습과 김효종의 위패가 봉안되어 있다. 이 서원에서는 매년 음력 2월과 8월 11일에 향사를 지내고 있으며, 제품(祭品)은 7변(籩) 7두(豆)이다.
유물로는 문신들의 친필 서간과 상량문이 보관되어 있다. 재산으로는 서원대지 200여 평, 전답 2,500여 평, 임야 4,000여 평 등이 있다.