1683년(숙종 9)에 지방유림의 공의로 박상충(朴尙衷)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1685년에 ‘오관(五冠)’이라고 사액되었으며, 그 뒤 박세채(朴世采)를 추가 배향하여 선현배향과 지방교육의 일익을 담당하여 왔다. 1740년(영조 16)에는 영조가 친히 행행(行幸)하여 치제(致祭)하였다.
그 뒤 1871년(고종 8)에 흥선대원군의 서원철폐령으로 훼철되어 위패는 서원자리에 매안하였다. 1950년대 이후의 사항은 미상이다.