1702년(숙종 28)에 지방유림의 공의로 채몽연(蔡夢硯)·채무(蔡楙)의 학문과 덕행을 추모하기 위해 소암사우(嘯巖祠宇)를 창건하여 위패를 모셨으며, 1803년(순조 3) 서원으로 승원하였다. 1847년(헌종 13)에 장내범(張乃範)을 추가 배향하여 선현 배향과 지방교육의 일익을 담당하여 왔다.
그뒤 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되어 지금까지 복원하지 못하였다. 훼철되기 전의 경내 건물로는 사우(祠宇)·신문(神門)·강당·동재(東齋)·서재(西齋)·전사청(奠祀廳)·주사(厨舍) 등이 있었다.