1634년(인조 12)에 지방유림의 공의로 조광조(趙光祖)와 이황(李滉)·맹희도(孟希道)·홍가신(洪可臣)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨으며, 같은 해 충효당(忠孝堂)이라는 별사(別祠)를 건립하여 이순신(李舜臣)·강봉수(姜鳳壽)를 모셨다.
1692년에 조상우(趙相禹)·강백년(姜栢年)·윤현(尹俔), 1705년에 조이후(趙爾後)를 추가 배향하였다. 선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐령으로 1871년(고종 8)에 훼철된 뒤 복원하지 못하였다.