1706년(숙종 32) 지방유림의 공의로 생육신인 조려(趙旅)·원호(元昊)·김시습(金時習)·이맹전(李孟專)·성담수(成聃壽)·남효온(南孝溫)의 학덕과 충절을 추모하기 위해 창건하여 위패를 모셨다.
1713년에 ‘西山(서산)’이라고 사액되었으며, 선현배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐령으로 1871년(고종 8)에 훼철되었다. 그 뒤 1984년 정부의 보조와 유림의 협력으로 복원되어 오늘에 이르고 있다.
경내의 건물로는 4칸의 묘우(廟宇), 신문(神門), 4칸의 강당, 각 3칸의 동재(東齋)와 서재(西齋), 외문(外門), 육각정(六角亭), 3칸의 고사(庫舍)와 육각비(六角碑), 조려의 사적비 등이 있다. 묘우에는 조려를 주벽(主壁)으로 하여 좌우에 원호·김시습·이맹전·성담수·남효온 등의 위패가 봉안되어 있다.
강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문 강론 등의 장소로 사용되고 있다. 동·서재는 향사 때 제수(祭需)를 마련하여 두거나 유생들이 기거하면서 공부를 하는 곳이며, 고사는 제구(祭具) 등을 보관하는 장소이다.
매년 3월 중정(中丁: 두번째 丁日)과 9월 9일에 향사를 지내고 있으며, 제품은 4변(籩) 4두(豆)이다. 재산으로는 전답 4,000평, 임야 100정보, 대지 1,000평 등이 있다.