1976년 경상남도 유형문화재(현, 유형문화유산)로 지정되었다. 주세붕은 1543년(중종 38) 우리나라 최초의 서원인 백운동서원(白雲洞書院: 소수서원(紹修書院))을 세운 분이다. 주세붕을 추모하는 서원은 1591년(선조 24) 동림서원(桐林書院)으로 건립되었으나 임진왜란 때 소실되었다. 1660년(현종 1)에 본향 남고(南皐)에 중건되었다가 1676년(숙종 2)에 덕연서원(德淵書院)이란 사액을 받았다.
1868년(고종 5) 서원이 훼철되자 영정을 종가 사당으로 옮겼다가, 1919년 사림의 공론에 따라 사당곁에 무산서원(武山書堂)을 세웠다. 이 서당은 한국전쟁 때 불탔고, 현재의 무산서당은 그뒤 건립된 것이다.
건물 배치는 서당을 중심으로 뒷쪽에 광풍각(光風閣) · 무릉사(武陵祠) · 장판각(藏板閣)이 일렬로 서 있어, 서원의 전형적인 배치와는 차이가 있다. 무산서당은 정면 5칸, 측면 2칸의 일자형 평면 건물로 공포를 사용하지 않은 민도리집이다. 부연(浮椽)이 없는 홑처마의 팔작지붕 건물이다.
무산사는 서당의 기능을 상실한 지 오래 되었으나, 상주 주씨 동성마을의 정신적 지주로 남아 있다. 무산사 경내에는 주세붕의 영정이 광풍각에 봉안되어 있고, 『무릉잡고(武陵雜稿)』 · 『수구집(守口集)』 · 『구봉집책판』 352매 등이 장판각에 소장되어 있다.