1566년(명종 21)에 지방유림의 공의로 이계손(李繼孫)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1592년(선조 25)에 사액되었으며, 그 뒤 소실되었다가 1608년에 중건하였고, 1702년(숙종 28)에 중액되었으며, 그 뒤 1673년(현종 14) 김상용(金尙容), 1689년(숙종 15)에 조석윤(趙錫胤)을 추가 배향하였다. 선현배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐로 1871년(고종 8)에 훼철되었다. 복원 여부는 미상이다.