1696년(숙종 22)에 지방유림의 공의로 이휘일(李徽逸)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨으며, 그 뒤 이현일(李玄逸)을 추가배향하였다.
1737년(영조 13)에 항리로 이건하였으며, 당시의 경내건물로는 묘우인 존경사(存敬祠)를 비롯하여 인산당(仁山堂)·동재(東齋)·서재(西齋)·신문(神門)·주소(厨所) 등이 있었다. 선현배향과 지방교육의 일익을 담당하여 오던 중, 대원군의 서원철폐령으로 1868년에 훼철된 뒤 복원하지 못하였다.