1691년(숙종 17)에 지방유림의 공의로 허목(許穆)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1693년 ‘湄江(미강)’이라고 사액되어 선현배향과 지방교육의 일익을 담당하여 오던 중, 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었다. 당시 사우만 철거되어 위패는 그 자리에 매안(埋安)하고 설단(設壇)하여 향사를 지내왔으며, 강당과 재실은 보호되어 있었다.
6·25사변으로 소실되어 1970년 다시 설단하고 단비(壇碑)를 세웠다. 현재까지 복원은 하지 못하였으나 매년 봄에 향사를 지내고 있으며, 재산으로는 전답 1만여 평이 있다.