1713년(숙종 39) 지방유림의 공의로 이석지(李釋之)·이안직(李安直)·이종검(李宗儉)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1741년(영조 17) 사설(私設) 향사우(鄕祠宇)의 금령(禁令)에 따라 훼철되었다가, 1752년 고려 두문동 72충신의 향사(享祀)를 지내라는 어명에 의하여 1766년대치리에 복원하고 이보흠(李甫欽)·이종겸(李宗謙)·이정실(李鼎實)·이정신(李鼎新)·이정태(李鼎泰)를 추가 배향하였다.
선현배향과 지방교육의 일익을 담당하여 오던 중 흥선대원군의 서원철폐령으로 1868년(고종 5)에 훼철된 뒤 복원하지 못하였으며, 지방유림에 의하여 유허비각이 세워졌고, 1983년 비각을 중수하였다.