1609년(광해군 1)에 지방유림의 공의로 서경덕(徐敬德)·박순(朴淳)·민순(閔純)·허엽(許曄)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 같은 해에 ‘화곡(花谷)’이라 사액되었으며, 선현배향과 지방교육의 일익을 담당하여왔다.
1693년(숙종 19)에는 숙종이 친히 행행(行幸)하여 치제(致祭)하였고, 1740년(영조 16)에는 영조가 행행하여 친림(親臨) 치제하였다. 그 뒤 1871년(고종 8)에 대원군의 서원철폐령에 따라 훼철되어 위패는 땅에 묻고 재산은 향교재단으로 흡수하였다.