1630년(인조 8)에 강원감사 윤안성(尹安性)과 공조참의 김몽호(金夢虎)를 중심으로 한 유림의 공의로 이이(李珥)의 학문과 덕행을 추모하기 위해 학산리에 석천서원(石川書院)을 창건하여 위패를 모셨다.
1652년(효종 3)에 강원감사 김익희(金益熙)와 본부사 이만영(李晩榮) 등이 현재의 위치로 이건하였으며, 1660년(현종 1)에 ‘송담(松潭)’이라고 사액되어 선현배향과 지방교육의 일익을 담당하여 왔다.
1756년 (영조 32)에 묘정비(廟庭碑)를 세워 서원 사적과 이이의 업적을 기각(記刻)하였으며, 1804년(순조 4) 산불로 인하여 건물과 신사임당의 수화(手畫) 등이 소실되었다. 1815년에 다소 복원하였으나 1868년(고종 5) 대원군의 서원철폐령으로 훼철되어 위패는 뒷산에 매안(埋安)하였다.
그 뒤 1904년에 유림의 모금으로 복원하고 중수를 거듭하여 오늘에 이르고 있다. 경내의 건물로는 3칸의 송담사(松潭祠), 송담사 좌우에 있는 각 3칸의 세심재(洗心齋), 내신문(內神門) · 묘정비각(廟庭碑閣) · 외신문(外神門) 등이 있다.
묘우(廟宇)인 송담사에는 이이의 위패가 봉안되어 있다. 세심재는 2동 모두 1개의 방과 앞쪽의 반칸 툇마루로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문의 강론장소로 사용된다.
이 서원에서는 매년 2월 중정(中丁 : 두번째 丁日)에 향사를 지내고 있으며, 제품(祭品)은 7변(籩) 7두(豆)이다. 1973년 강원도 유형문화재(현, 유형문화유산)로 지정되었다. 유물로는 《송담재지 松潭齋誌》 8책과 자운서원묘정비문(紫雲書院廟庭碑文) 탁본 등이 있고, 재산으로는 대지와 전답 4,000평, 임야 2정보 등이 있다.