1664년(현종 5)에 지방유림의 공의로 김안국(金安國)과 김정국(金正國)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다.
1671년(숙종 21)에 ‘오산(鰲山)’이라고 사액되어 선현배향과 지방교육의 일익을 담당하여 왔다. 당시의 경내 건물로는 3칸의 사우(祠宇), 3칸의 강당, 신문(神門), 각 5칸의 동재(東齋)와 서재(西齋), 동서 협문(夾門), 대문 등이 있었다. 그 뒤 대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었으며, 1950년대 이후의 사항은 미상이다.