1653년(효종 5)에 지방유림의 공의로 김성진(金聲振) · 김광석(金光奭) · 김원중(金元重) · 김원건(金元建) · 김원립(金元立)의 덕행과 충절을 추모하기 위해 창건하여 위패를 모셨다.
선현배향과 지방교육의 일익을 담당하여 오던 중 1868년(고종 5)에 대원군의 서원철폐로 훼철되었으나 그 뒤 유림에 의하여 제단을 마련하여 행사를 지내오고 있다. 서원을 복원하지는 못하였지만 매년 9월 15일에 향사를 지내고 있으며, 유물로는 서원터에 유허비(遺墟碑)만 남아 있다.