1824년(순조 24)에 홍명섭(洪明燮), 이우석(李禹錫), 민기용(閔夔鏞) 등의 향중 사림이 익성공(翼成公) 황희(黃喜, 1363∼1452)의 은덕을 기리기 위하여 소동사(召東祠)를 창건하였고, 1857년(철종 8)에 서원으로 발전하였다.
1824년에 황희를 배향하기 위해 소동사(召東祠)를 세웠고, 1857년에 서원으로 승격하였다. 1861년(철종 12)에 묘정비를 건립하었다. 흥선대원군의 서원 철폐령에도 건물은 그대로 있었으나 1913년에 일본 헌병의 만행을 규탄하는 유림에 대한 보복으로 서원 건물에 방화를 하여 소실되었다. 1971년 묘정비 복원을 시작으로 1998년에는 묘정비각을 복원하였다. 2001년에는 전청을 복원하였으며, 2003년에는 동재와 서재를 준공하였다.
1423년(세종 5)에 강원도관찰사로 부임한 황희는 이 지방에 흉년이 들자 백성들을 헌신적으로 구제하여 삼척지방에는 굶어죽은 자가 없었다고 한다. 이로 인하여 삼척도호부 백성들은 그의 은덕을 잊지 못하여, 그가 왕래하며 쉬어 갔던 와현(瓦峴)에 돌을 모아 대를 만들어 소공대(召公臺)라고 하였다. 1515년(중종 10)에 무너진 소공대 자리에 소공대비를 세웠고 후에 삼척 사림들이 소동사를 건립하였다.
현재 복원된 서원은 4칸의 전청 건물과 3칸의 동재 및 서재가 맞배지붕으로 지어져 있다. 서원 내에 위치한 산양서원묘정비(山陽書院廟庭碑)는 1998년 4월 18일에 강원도 문화재자료(현, 문화유산자료)로 지정되었다.
황희가 강원도관찰사로 재직하면서 선정을 베푼 것을 기리기 위해 세운 소공대가 후일 발전하여 그를 존향하는 서원이 되었다. 이를 통하여 지방관으로서 황희의 치적을 가늠해 볼 수 있다.