1582년(선조 15)에 지방유림의 공의로 이자(李耔)·이경연(李慶延)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨고 1612년(광해군 4) 김세필(金世弼)·노수신(盧守愼)을 추가 배향하였다.
1672년(현종 13)에 ‘팔봉(八峰)’이라고 사액되었으며, 선현배향과 지방교육의 일익을 담당하여오던 중 1868년(고종 5)에 대원군의 서원철폐령으로 훼철되었다. 그 뒤 서원은 복원하지 못하고 서원터에 담장과 정문(旌門)을 세웠다가 1998년에 전통양식으로 복원하였다. 2003년 6월 13일 충청북도 기념물로 지정되었다.