1426년(세종 8) 현유(賢儒)의 위패를 봉안하고 지방민의 교육과 교화를 위해 창건되었다. 임진왜란 때 소실되었다가 1618년(광해군 10)에 중건하였다. 현재의 남산중학교(南山中學校) 일대가 향교의 경내였으나 1949년 학교로 개조되었다.
현존하는 건물로는 정면 5칸, 측면 3칸의 맞배지붕으로 된 대성전, 정면 3칸, 측면 2칸의 맞배지붕으로 된 동재(東齋), 원래의 것을 어느 시기에 줄인 것으로 보이는 서재(西齋), 정면 3칸, 측면 2칸의 단층 누각인 태평루(太平樓) 등이 있다.
정면 10여 칸의 맞배지붕으로 된 동무(東廡)와 서무(西廡)는 현재 학교의 교실로 사용되고 있으며, 명륜당은 1920년대에 소실되어 그 자리에 교실을 신축하였다. 대성전에는 5성(五聖), 송조4현(宋朝四賢), 우리 나라 18현(十八賢)의 위패가 봉안되어 있다.
조선시대는 국가로부터 토지와 전적 · 노비 등을 지급받아 교관이 교생을 가르쳤으나, 조선 후기 이래 향교는 교육 기능이 쇠퇴하고 대신 선현에 대한 제향을 통한 교화 기능을 주로 담당하였다. 봄 · 가을에 석전을 봉행하며 초하루 · 보름에 분향을 하고 있다.
이 향교의 대성전은 1982년 경상북도 유형문화재(현, 유형문화유산)로 지정되었으며, 현재 남산중학교의 소유로 되어 있다. 운영은 전교(典校) 1명과 장의(掌議) 두어 명이 담당하고 있다.