조선시대 중기에 현유(賢儒)의 위패를 봉안, 배향하고 지방민의 교육과 교화를 위해 창건되었다. 창건연대는 미상이며, 1897년(광무 1년) 군 동쪽 1리에 대성전을 처음으로 지었고, 1898년(광무 2)에 명륜당, 이듬해에 풍화루를 각각 신축하였다. 1915년에 지방관제가 변경됨에 따라 돌산군이 없어져 돌산향교도 없어질 위기를 맞았으나 지방 유림들의 노력으로 오늘의 형태로 이르고 있다. 1925년 창선계를 조직하여 두 차례에 걸쳐 대성전 개수와 명륜당, 풍화루가 수리되었다.
현존하는 건물은 대성전 · 명륜당 · 풍화루 · 외삼문(外三門) 등이 있으며, 대성전에는 5성(五聖), 송조 4현(宋朝四賢), 우리나라 18현(十八賢)의 위패가 봉안되어 있다. 건축형태는 뒤와 양옆으로 야산을 끼고 남향으로 위치하는데, 왼쪽에 교육 공간이 있고, 오른쪽에 제사 공간이 있는 좌학후묘(左學後廟)의 배치 형태이다. 제사를 지내는 공간인 대성전은 앞면 3칸 · 옆면 3칸 규모로 맞배지붕이며, 명륜당은 앞면 5칸 · 옆면 3칸 규모로, 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 학생들이 휴식을 취하는 풍화루는 2층 누각으로 앞면 3칸 · 옆면 2칸 규모이다.
조선시대에는 국가로부터 토지와 전적 · 노비 등을 지급받아 교관(敎官)이 정원 30명의 교생을 가르쳤으나, 조선 후기 이래 향교는 교육 기능이 쇠퇴하고 대신 선현에 대한 제향을 통한 교화 기능을 주로 담당하였다. 봄 · 가을에 석전(釋奠)을 봉행(奉行)하며 초하루 · 보름에 분향을 하고 있다.
소장 전적은 판본 39종 115책, 사본 48종 52책이 있으며, 이 중 《향안 鄕案》 · 《유안 儒案》 · 《문묘청금록 文廟靑衿錄》 · 《원돌산향교갱출의연록 元突山鄕校更出義捐錄》 · 《유림계좌목 儒林契座目》 · 《향교소작료기 鄕校小作料記》 등은 이 지방의 향토사연구에 귀중한 자료가 된다.
이 향교는 1984년 전라남도 문화재자료(현, 문화유산자료)로 지정되었으며, 전교(典校) 1명과 장의(掌議) 여러 명이 운영을 담당하고 있다.