1518년(중종 13)에 지방 유림의 공의로 황맹헌(黃孟獻) · 황효헌(黃孝獻) · 황희(黃喜)의 학문과 덕행을 추모하기 위해 창건하여 위패를 모셨다. 1580년(선조 13)에 영당(影堂)을 건립하여 봄 · 가을에 향사(享祀: 제사)를 지내 왔다. 1714년(숙종 40)에 전식(全湜)을 추가 배향(配享)함과 동시에 현재의 위치로 이건하였으며, 1783년(정조 7)에 황뉴(黃紐)를 추가 배향하였다.
1789년에 ‘옥동(玉洞)’이라 사액(賜額)되어 선현 배향과 지방 교육의 일익을 담당하여 왔다. 이 서원은 1868년(고종 5) 대원군의 서원 철폐 때 훼철(毁撤)되지 않고 존속한 47개 서원 중의 하나이다.
경내의 건물로는 3칸의 경덕사(景德祠), 5칸의 강당, 5칸의 문루(門樓), 3칸의 전사청(典祀廳), 고사(雇舍) 2동, 화직사(火直舍) · 묘직사(廟直舍) 등과 부속건물로 팔각정이 있다. 묘우(廟宇)인 경덕사에는 황희를 주벽(主壁)으로 좌우에 전식 · 황효헌 · 황맹헌 · 황뉴의 위패가 봉안되어 있다.
강당은 중앙의 마루와 양쪽 협실로 되어 있는데 남쪽은 착로재(斲露齋), 북쪽은 탁장재(琢章齋), 마루는 온휘당(蘊輝堂)이라 현액되어 있다. 강당은 유림의 회합 및 원내의 여러 행사와 학문강론 장소로 사용하고 있다.
문루는 2층 형식으로 되어 있으며, 아래층은 출입문으로 회보문(懷寶門)이라 현액되어 있고, 위층 남쪽은 진밀료(縝密寮), 북쪽은 윤택료(潤澤寮), 중간의 마루는 청월루(淸越樓)라 현액되어 특이한 건물구조를 나타내고 있다. 전사청은 향사 때 제수(祭需)를 장만해 두는 곳이며, 문루는 향사 때 유생들의 거처 및 행사의 모임 장소로 사용된다.
팔각정은 아래로 금강이 흐르는 산 끝에 자리잡고 있어 유생들의 휴식처 및 시(詩) · 부(賦)를 읊는 곳으로 이용되고 있으며, 고사 · 화직사 · 묘직사는 각각 고직 · 화직 · 묘직이 서원을 관리하며 거처하는 곳이다.
옥동서원은 2015년 사적으로 지정되었으며, 매년 3월 상정(上丁: 첫째번 丁日)과 9월 상정에 향사를 지내고 있다. 유물로는 황희의 영정 등이 있고, 소장 전적으로는 『갈천문집(葛川文集)』 외 수백 권이 있다. 재산으로는 대지 1,000평, 전답 8,000여 평, 임야 1,200정보 등이 있다.