1660년(현종 1)에 지방유림들의 공의로 이언적(李彦迪)의 도덕과 학문을 추앙하여 창건하고 위패를 모셨다. 그 뒤 1715년과 1743년에 묘우(廟宇)를 중수하여 선현배향과 지방교육의 일익을 담당하여 왔다.
1869년(고종 6) 대원군의 서원철폐령으로 훼철된 뒤, 서당으로 명칭을 변경하여 유생들의 학문을 닦는 곳으로만 사용되어왔다. 경내의 건물로는 강당(3칸)·고사(2동 5칸)·대문(1칸) 등이 있다.
강당은 중앙에 마루가 있고, 양쪽에는 협실이 있는데, 원내의 여러 행사와 유림의 회합, 학문의 토론장소로 사용되었다. 고사의 1동은 향례 때에 제수를 마련하여두는 곳이며, 또 1동은 제구를 보관하기도 하였다.
경내에는 이언적의 단비(壇碑)가 건립되어 있으며, 지방유림들이 서원으로 다시 복원할 계획을 하고 있다. 또한, 이 서원에서는 매년 3월 중정(中丁 : 두번째 丁日)과 9월 중정에 향사를 지냈으나, 서당으로 명칭이 바뀐 뒤에는 1년에 한번씩 9월 9일에 향사를 지내고 있다. 제품은 4변(籩) 4두(豆)이다.