1606년(선조 39)에 지방유림의 공의로 기준(奇遵)의 학문과 덕행을 추모하기 위해 향교 경내에 복재사(服齋祠)를 창건하여 위패를 모셨다.
1666년(현종 7)에 장충동으로 이건하였고, 1702년(숙종 28)에 김덕성(金德誠)과 유계(兪棨)를 추가 배향하면서 충곡서원으로 개편되었다.
1716년 현재의 위치로 이전하여 선현배향과 지방교육의 일익을 담당하여오던 중, 1868년(고종 5) 대원군의 서원철폐령으로 훼철되었다. 1950년대 이후의 사항은 미상이다.