1967년 사적으로 지정되었다. 1572년(선조 5) 경주 부윤 이제민(李齊閔)과 도내 유림들의 공의로 이언적(李彦迪)의 덕행과 학문을 추모하기 위해 서원 자리를 정하고 묘우(廟宇)를 건립하였다.
다음 해에 서악(西岳)의 향현사(響絃詞)에 있던 위패를 모셔왔으며, 1574년 ‘옥산(玉山)’이라고 사액(賜額) 되었다.흥선대원군의 서원 철폐령에도 훼철(毁撤) 되지 않고 남은 47개 서원 중 하나이다.
경내 건물로는 체인묘(體仁廟)로 현액된 묘우를 비롯하여, 구인당(求仁堂)·암수재(闇修齋)·민구재(敏求齋)·무변루(無邊樓)·역락문(亦樂門)·신도비각(神道碑閣)·경각(經閣)·판각(板閣)·제기실(祭器室)·어서각(御書閣)·포사(庖舍)·정대문(正大門)·상당(上堂)·체인문(體仁門)·세심문(洗心門)·감생문(監牲門) 등이 있다.
체인묘에는 이언적의 위패를 봉안하고 있으며, 구인당은 강당으로서 원내의 여러 행사와 유림의 회합, 학문 토론 장소로 사용되었다.
제기실은 향례 때 사용하는 제기를 보관하는 곳이며, 암수재와 민구재는 유생들이 수학하며 거처하는 곳이다. 또한 무변루는 2층 누각으로 유생들이 휴식을 취하던 곳이고, 역락문은 무변루의 문으로 『논어』 학이(學而)에 나오는 ‘불역낙호(不亦樂乎)’의 뜻을 취하였다.
신도비각은 1577년에 이언적의 신도비를 모셨으며, 경각과 판각에는 각종 판각 및 어서를 보관하였다. 매년 2월과 8월 중정(中丁)에 향사(享祀)를 지내고 있으며, 제품(祭品)은7변(籩) 7두(豆)이다.
유물로는 필연(筆硯)·연수병(硯水甁)·관대(冠帶)·사모(紗帽)·마상배(馬上杯)·관영(冠纓)·옥적(玉笛)·직인(職印)·유서통(遺書筒)·옥관자·금관자·옥죽(玉竹) 2본과 『회재선생문집』 외 1000여 권의 문집과 책이 보관되어 있다.
1970년 김부식(金富軾) 원저 『삼국사기』 완본 9책(보물, 1970년 지정)과 국내 최고의 활자본인 『정덕계유사마방목』 1책(보물, 1970년 지정), 『해동명적』 2책(보물, 1970년 지정)이 보물로 지정되었고, 이언적 수필 고본(古本)은 1975년 보물로 지정되었다.
재산은 전답 2만 600평, 대지 3500평, 임야 35정보가 있다.
1967년 사적으로 지정된 이 서원은 전면에 강학처소(講學處所)를 두고 뒤편에 사당(祠堂)을 둔 전학후묘(前學後廟)의 배치를 취하고 있다. 서향의 정문인 역락문을 들어서면 누문(樓門)인 무변루에 이르게 되며, 이 무변루 밑으로 계단을 딛고 오르면 구인당의 안마당에 이르도록 되어 있다. 구인당 좌우로는 동재(東齋)와 서재(西齋)가 자리 잡고 있어, 구인당과 함께 강학처소를 이루고 있다.
구인당 뒤쪽에는 내삼문(內三門)인 체인문이 있고, 체인문을 둘러싼 담장 안에 체인묘와 제기실이 자리잡고 있다. 서원의 중심부 남측에는 부대시설인 고직사(庫直舍)·판각(板閣) 등이 있으며, 담장 밖 남측에 경각, 북측에 신도비각이 있다.
구인당은 정면 5칸 측면 2칸의 단층 팔작기와집으로, 다듬은 돌로 바른 층 쌓기의 기단을 구성하고 있다. 기단 위에는 주좌(柱座)를 둥글게 솟아오르도록 만든 초석들을 놓고, 약한 배흘림이 있는 원주(圓柱)들을 세웠다.
기둥 위에는 굽면이 사면으로 끊긴 주두(柱頭)를 놓고, 끝이 위로 향한 소 혀 모양 장식인 앙서[仰舌]가 뻗은 부재를 기둥 윗몸에서 내었다.안쪽으로는 기둥과 보 사이를 보강해 주는 보아지 형태로 하여 주두와 보머리를 결구하여 이익공(二翼工)처럼 보이지만, 부재의 구성 방법은 초익공식(初翼工式)이다.
가구(架構)는 5량(五樑)으로 대들보를 앞뒤 평주(平柱) 위에 걸고, 그 위에 파련각(波蓮刻)으로 된 동자주(童子柱)를 세워 종보[宗樑]를 받친 후, 여기에 꾸밈새인 첨차(檐遮)와 소호로 이루어진 파련대공(波蓮臺工)을 놓아 종도리를 받쳤다.
처마는 홑처마이고 팔작지붕으로 되어 있으며, 중앙이 우물마루로 된 대청과 좌우는 온돌방으로 구성되어 있다.
구인당 앞쪽의 동재(東齋)와 서재(西齋)는 정면 5칸, 측면 1칸의 단층 맞배기와집으로, 민도리집 계통의 건축물이다. 무변루는 정면 7칸, 측면 2칸의 중층 맞배기와집으로, 1층의 어간(御間)에 대문을 달고, 양측은 2층 온돌방의 구들과 아궁이를 두었다. 2층의 중앙에는 정면 3칸, 측면 2칸의 대청을 두고, 이 양측에 정면 1칸 측면 2칸의 온돌방을 하나씩 두었다. 대청과 온돌방 둘레에는 툇마루를 두고 계자 난간을 둘러 개방하였다. 구조는 초익공식으로 5량가구(五樑架構)를 이루고 있다.
중심 전각인 체인묘는 정면 3칸 측면 2칸의 단층 맞배기와집으로, 다듬은 돌로 바른 층 쌓기 한 기단 위에 초석들을 놓아 두리기둥(원형기둥)들을 세웠다.
기둥 위에는 주두를 놓고, 소 혀 모양 장식인 쇠서[牛舌] 하나를 내어 초익공식을 취하고 있으며, 가구는 5량으로 겹처마를 이루고 있다.
경주의 옥산서원은 2019년 7월 “한국의 서원(Seowon, Korean Neo-Confucian Academies)”이라는 명칭으로 다른 8곳의 서원과 더불어 유네스코 세계유산에 등재되었다.