상주의 장수 황씨는 황희의 둘째 아들 황보신(黃保身, 14011451)이 관직에서 물러난 뒤 처향인 상주 지역에 입향하면서 그 역사가 시작된다. 1518년(중종 13) 황희의 4대손으로 예조판서와 수찬 등을 역임한 황맹헌(黃孟獻, 14721535)・ 황효헌(黃孝獻, 1491~1532) 형제가 세거지에 솟아 있는 백화산(白華山) 헌수봉(獻壽峰) 아래에 서당을 세웠다. 바로 이 백화서당이 옥동서원의 전신이다.
1580년(선조 13) 5대손 현감 황돈(黃惇, 1510~?)이 백화서당에 황보신이 가져온 황희의 영정을 봉안하면서 백옥동영당이라 칭했다. 그러나 임진왜란 발발로 영당에도 화가 미쳐 전소(全燒)를 당한다. 1595년(선조 28) 7대손 판관 황뉴(黃紐, 1578~1626)의 주도 하에 중건이 이루어졌다.
1714년(숙종 40) 상산사로(商山四老)로 불리는 전식(全湜, 1563-1642)을 추향함과 동시에 서원으로 승격시켰다. 1786년(정조 10) 장수 황씨 가문의 황효헌과 황뉴를 동시에 추향하면서 4명의 선현을 제향하는 공간이 되었다. 1789년(정조 13) 사액되면서 옥동서원은 경제력 상승은 물론 향촌 내 위상이 크게 제고되었고, 지역에서 도남서원・ 흥암서원과 함께 향권을 선도하는 위치에 오르는 서원으로 격상되었다.
이후 옥동서원에서는 19세기 후반에 황희의 문묘종사운동에 적극적으로 참여를 하는 모습을 비롯해, 황희의 『방촌선생문집(厖村先生文集)』, 황뉴의 『반간집(槃澗集)』, 『황씨세보(黃氏世譜)』, 『장계이고(長溪二稿)』 등을 간행하였다. 이외에도 현재 옥동서원에는 영정, 고문서, 책판, 현판 등 많은 자료들이 세전되고 있다. 이들 자료는 현재 상주박물관에 기탁・보관되어 있다.
옥동서원은 서원훼철령에도 존치된 역사성을 가지고 있으며, 2015년 사적으로 지정된 문화유산이다. 매년 음력 3월과 9월 상정일(上丁日)에 향사를 지내고 있다.