1656년(효종 7)에 지방유림의 공의로 김상용(金尙容)·김상헌(金尙憲)의 충절과 학덕을 추모하기 위해 사우(祠宇)를 창건하여 위패를 모셨다. 1663년(현종 4)에 ‘석실(石室)’이라고 사액되어 서원으로 승격되었다.
그 뒤 1697년(숙종 23)에 김수항(金壽恒)·민정중(閔鼎重)·이단상(李端相), 1713년(숙종 39)에 김창협(金昌協), 1857년(철종 8)에 김창흡(金昌翕)·김원행(金元行)·김이안(金履安)·김창집(金昌集)·김조순(金祖淳)을 추가 배향하여 선현배향과 지방교육의 일익을 담당해 왔다. 대원군의 서원철폐령으로 1871년(고종 8)에 훼철되어 위패는 묻었으며 서원터는 폐허화되었다.