1441년(세종 23) 현유(賢儒)의 위패를 봉안, 배향(配享)하고 지방의 중등교육과 지방민의 교화를 위하여 고흥현 서문(西門) 밖에 창건되었다.
정유재란 때 병화로 소실되었다가 1695년 유생 강익무(姜翊武) · 치무(致武) 형제가 향교의 재건을 상소하고 신규(申樛) · 송만징(宋萬澄) 등이 발의하여 1700년 교궁(校宮)을 중건하였다.
이어 1817년 현감 유민검(柳民儉)이 양사재(養士齋)를 설립하고, 이듬해 현감 신의학(愼宜學)이 동재(東齋) · 서재(西齋)와 명륜당의 지붕을 보수하였으며, 1828년 현감 조존승(趙存昇)과 이광문(李光文) · 송석흠(宋碩欽) 등의 노력으로 대성전이 중수되었다.
1910년 일본 관헌에게 재당(齋堂) 및 토지 등의 재산을 빼앗기고 사림들의 휴식처마저 없어지자, 신재구(申在求)와 송계성(宋桂星)이 논의하여 대성전 좌우에 방을 마련하였다.
또 1912년 송인섭(宋仁燮) · 신재구 · 유중홍(柳重洪) 등이 존성계(尊聖契)를 조직하여 사청(祀廳)을 보수하고 향사를 받들 재원으로 토지를 마련하는 한편, 담장을 보수하였다. 광복 뒤 몇 차례의 보수를 거쳤으며 1955년 홍살문을 세웠다.
현존하는 건물로는 대성전 · 명륜당 · 동무(東廡) · 서무(西廡) · 동재 · 서재 · 양사재 · 내신문 · 외신문 · 전직사(典直舍) · 유림회관 등이 있다. 정면 3칸의 팔작지붕으로 된 대성전에는 5성(五聖), 송조(宋朝) 2현(二賢), 우리나라 18현(十八賢)의 위패가 봉안되어 있다.
조선시대에는 국가로부터 전답과 노비 · 전적 등을 지급받아 교관이 교생을 가르쳤으나, 현재 교육적 기능은 없어지고 봄 · 가을에 석전(釋奠:공자에게 지내는 제사)을 봉행(奉行)하고 초하루 · 보름에 분향하고 있으며, 전교(典校) 1명과 장의(掌議) 수명이 운영하고 있다. 1985년 전라남도 유형문화재(현, 유형문화유산)로 지정되었다.