1390년에 현유(賢儒)의 위패를 봉안, 배향(配享)하고, 지방의 중등교육과 지방민의 교화를 위해서 창건되었다.
1550년에는 현령 박세린(朴世麟)이 중수하였고 임진왜란 때 소실된 것을 1633년에 현령 박창(朴敞)이 중수하였으며, 1681년에 현령 홍처공(洪處恭)이 감사 이수언(李秀彦)에게 건의하여 교궁(校宮)을 현 위치로 이건하였다.
1702년에는 현령 이발(李渤)과 교임 유포(柳浦)가 보수하였고, 1715년에 현령 심용준(沈龍浚)과 교임 조동기(趙東箕) · 한두산(韓斗山) · 나학해(羅學海)가, 1721년에는 현령 이정량(李廷亮)이, 1725년에는 현령 윤해(尹楷)가 각각 보수하였다.
1753년 현령 김정겸(金貞謙)과 교임 서도벽(徐道璧) · 정두빈(鄭斗彬)이 명륜당을 보수하였고, 1803년에는 현령 이지순(李志淳)과 교임 손홍점(孫弘漸)이, 1808년에는 현령 박종서(朴宗恕)와 교임 이경(李璟)이, 1837년에는 현령 성재호(成載護)와 교임 정진방(鄭鎭邦) · 장용복(蔣容復)이, 1850년에는 현령 강의영(姜義永)이 각각 대성전을 중수하였다.
1862년에는 기와를 보수하였고, 1911년경산공립보통학교(慶山公立普通學校)를 설립할 때 부지의 일부를 학교에 제공함에 따라 명륜당과 동서재를 해체하였다. 1919년 대성전 서편에 모성당(慕聖堂)을 신축하였다가 1946년 다시 동편으로 이건하였으며, 현재에는 이 건물을 명륜당으로 사용하고 있다.
현존하는 건물은 박공지붕 겹처마인 5칸의 대성전과 5칸의 명륜당, 삼문 · 중문과 최근에 새로 지은 4칸의 모성당 등이 있다. 대성전에는 5성(五聖) · 송조4현(宋朝四賢), 우리나라 18현(十八賢)의 위패가 봉안되어 있다.
조선시대에는 국가로부터 전답과 노비 · 전적 등을 지급받아 교관이 교생을 가르쳤으나, 현재는 교육적 기능은 없어지고 봄 · 가을에 석전(釋奠: 공자에게 지내는 제사)을 봉행하고 초하루 · 보름에 분향을 올리고 있으며, 전교 1명과 장의(掌議) 수명이 운영을 담당하고 있다.
경산향교는 본래 경산시 신교동에 있었으나 1997년 9월 경산시 향교길 14-19(중방동 760)로 이전했으며, 이 향교의 대성전과 삼문은 2013년 경상북도 유형문화재(현, 유형문화유산)로 지정되었다.