1426년(세종 8)에 현유(賢儒)의 위패를 봉안, 배향하고 지방민의 교육과 교화를 위하여 창건되었다. 1485년(성종 16)에 현감 김수문(金秀文)이 명륜당을 부설하였다.
임진왜란 때 전소되었으나 주민들이 대성전에 봉안되었던 성영(聖影)과 위패를 무사히 구해내어 매안(埋安)하였으며, 그 뒤 복원하여 향교로 옮겼다고 한다. 1690년(숙종 16) 현감 유후광(柳後光)이 중수하였고, 일제 말기에는 금산향교(金山鄕校)로 폐합되었다가 지방유림의 계속된 진정으로 1946년에 다시 복원되었다.
6 · 25동란 때는 대성전의 피화(被禍)를 염려하여 전교(典校) 문맹곤(文孟坤) 등이 영정과 위패를 도곡리 문씨재실(文氏齋室)에 봉안하였다가 이듬해 전교 이건화(李建和)가 복원, 봉안하였다. 그 뒤 1973년에 중수하여 오늘에 이르고 있다.
경내의 건물로는 6칸의 대성전 7칸의 명륜당, 5칸의 사층루(思層樓), 4칸의 서재(西齋), 내삼문(內三門) 등이 있다. 대성전에는 5성(五聖), 송조4현(宋朝四賢), 우리 나라 18현(十八賢)의 위패를 봉안하고 있다.
조선시대에는 국가로부터 토지와 전적 · 노비 등을 지급받아 교관 1명이 정원 30명의 교생을 가르쳤으나, 갑오개혁 이후 신학제 실시에 따라 교육적 기능은 없어지고 봄 · 가을에 석전(釋奠)을 봉행(奉行)하며 초하루 · 보름에 분향을 하고 있다.
이 서원의 대성전은 1985년 경상북도 문화재자료(현, 문화유산자료)로 지정되었으며, 향교의 운영은 전교 1명과 장의(掌議) 수명이 담당하고 있다.