1470년(성종 1) 동부리 마정산(馬井山)에 현유(賢儒)의 위패를 봉안, 배향하고 지방의 유학교육과 지방민의 교화를 위하여 창건되었다.임진왜란 때 소실되어 1607년 류성룡(柳成龍)과 이오봉(李五峯)이 풍수지리를 잘 아는 승려 성지(聖智)를 보내어 새로 터를 잡아 선방산(船放山) 남쪽 기슭인 쇠똥골(지금의 하곡리)에 이건하였다.
1701년에 현재의 위치로 이건하였으며 1973년에 전체적인 보수가 있었다. 현존하는 건물로는 대성전 · 명륜당 · 광풍루(光風樓) · 동재(東齋) · 서재(西齋) · 내삼문(內三門) 등이 있다. 전학후묘(前學後廟)의 건축형태이다.
6칸으로 된 대성전에는 5성(五聖) · 송조4현(宋朝四賢) 및 우리 나라 18현(十八賢)의 위패가 봉안되어 있다. 명륜당은 8칸으로 되어 있는데, 박공지붕의 양끝에 눈썹지붕을 붙인 특이한 형태를 하고 있다.
조선시대에는 국가로부터 전답과 노비 · 전적 등을 지급받아 교관이 교생을 가르쳤으나, 조선 후기 이래 향교는 교육 기능이 쇠퇴하고 대신 선현에 대한 제향을 통한 교화 기능을 주로 담당하였다. 봄 · 가을에 석전(釋奠)을 봉행(奉行)하고 초하루 · 보름에 분향을 하고 있으며, 전교(典校) 1명과 장의(掌議) 수명이 운영을 담당하고 있다. 현재 명륜당은 유치원으로, 동재는 고사(庫舍)로 사용되고 있다.