1695년(숙종 21) 6월 지방유림이 송시열(宋時烈)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨으며, 같은 해 9월 ‘考巖(고암)’이라 사액되어 사액서원으로 승격되었다.
1785년(정조 9)에 송시열의 수제자인 권상하(權尙夏)를 추가배향하였으며, 당시에는 장의(掌議) 1인, 재임(齋任) 2인, 원생 60여인이었다. 선현배향과 지방교육의 일익을 담당하여오던 중, 흥선대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었다.
그 뒤 유림에 의해서 강당이 복원되었고, 유허지에는 묘정비각(廟庭碑閣)이 남아 있으며, 해마다 봄 · 가을에 향사를 지내고 있다.