본래 신라 때의 사라향(沙羅鄕)이었는데, 고려 때에 옥산현으로 고쳐 영암군에 예속시켰다. ‘사라’는 ‘큰 읍〔大村〕’이란 뜻이다. 그 뒤 폐현되어 해남현의 치소로 삼았다.
이곳은 해남에서 두륜산(頭輪山)에 이르는 길목에 자리잡고 있는데, 조선시대에는 부근에 옥산참(玉山站)이 있었고, 녹산(錄山)에는 옛 산성이 있었다. 옥산에서 남해안에 이르면 노량(鷺梁)이 있고, 어란포진(於蘭浦鎭)에 도달한다. 따라서 옥산은 해남을 방어하는 외곽의 구실을 하였다.