1771년(영조 47) 지방유림의 공의로 이색(李穡)을 추모하기 위해 목은영당(牧隱影堂)인 서산사(西山祠)를 세워 위패를 모셨고, 1776년 사림의(士林)의 공의로 서원으로 승원하면서, 이색의 10대손 이홍조(李弘祚)를 종향(從享)하였다. 선현배향과 지방교육의 일익을 담당하여 오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다가 1962년에 복원하였다.
경내의 건물로는 3칸의 숭덕사(崇德祠), 10칸의 명교당(明敎堂), 신문(神門), 각 3칸의 육영재(育英齋)와 강수재(講修齋), 2칸의 전사청(典祀廳), 정문(正門), 창도문(倡道門), 15칸의 주소(廚所) 등이 있다. 묘우(廟宇)인 숭덕사에는 이색을 주벽(主壁)으로 하여 이홍조의 위패가 함께 봉안되어 있다.
강당인 명교당은 중앙의 마루와 양쪽 협실로 되어 있는데, 마루는 원내의 여러 행사와 유림의 회합 및 학문 강론 장소로 사용되고 있고, 좌측 방은 헌관실, 우측 방은 재석 및 별유사 방으로 사용되고 있다. 신문과 창도문은 향사 때만 개문하여 제관들의 출입문으로 사용하고 있으며, 전사청은 향사 때 제물을 장만하여 보관하는 곳이다.
육영재와 강수재는 각각 동재(東齋)와 서재(西齋)로서, 육영재는 재원들의 숙소로 사용되고 강수재는 유생들이 기거하며 공부하는 장소로 사용되고 있다. 매년 3월 중정(中丁 : 두번째 丁日)과 9월 중정에 향사를 지내고 있으며, 제품(祭品)은 4변(籩) 4두(豆)이다.
1983년 경상북도 기념물로 지정되었으며, 소장전적으로는『목은문집(牧隱文集)』 등 서적 100여 권이 있고 그 밖에 이색의 영정이 보존되어 있다. 서원의 재산으로는 전답 5,000평, 임야 5정보 등이 있다.