고려 인종 때 현유(賢儒)의 위패를 봉안, 배향하고 지방민의 교육과 교화를 위하여 창건되었다. 창건 당시 강루리 구인동에 있었으나, 세종 때 이 지방에서 문가학(文可學)의 변란이 있고 난 뒤 서쪽 산기슭으로 옮겼다.
1728년(영조 4) 장의(掌議) 권대익(權大益)과 재임(齋任) 유응명(柳應明) · 김영(金泳) 등이 명륜당을 중건하였으며, 1740년 이여옥(李如玉) · 권전(權0x9B9C) 등이 대성전을 중수하였다.
1752년에 현 위치로 이건하였고, 1794년(정조 18)과 1841년(헌종 7)에 각각 대성전을 중수하였다. 1895년(고종 32) 교임(校任) 권응희(權應熙) · 유의성(柳宜晟)의 노력으로 교궁(校宮)을 중수하였다.
현감 현의섭(玄懿燮)과 김종호(金鍾晧) · 이병순(李炳淳) · 이익현(李益鉉) · 이익수(李益洙)가 중수하였으며, 1909년 신문(神門)과 동재(東齋) 등을 보수하였다.
현존하는 건물로는 5칸의 대성전과 7칸의 명륜당, 내삼문(內三門) · 동재(東齋) · 서재(西齋) · 향안실(鄕案室) 등이 있으며, 대성전에는 5성(五聖), 송조4현(宋朝四賢), 우리 나라 18현(十八賢)의 위패가 봉안되어 있다.
조선시대는 국가로부터 토지 · 전적 · 노비 등을 지급받아 교관이 정원 30명의 교생을 교육시켰으나, 갑오개혁 이후 신학제 실시에 따라 교육적 기능은 없어지고 봄 · 가을에 석전(釋奠)을 봉행하며 초하루 · 보름에 분향을 하고 있다.
이 향교는 1974년 경상남도 유형문화재(현, 유형문화유산)로 지정되었으며, 향교에 보관되어 있는 ≪산청 단성현 호적장부≫은 1976년 경상남도 유형문화재로 지정되었다. 현재 전교(典校) 1명과 장의 수 명이 운영을 담당하고 있다.