백제의 월내군(月奈郡)이었는데, 757년(경덕왕 16) 영암군으로 고쳤고, 영현으로 고안현(固安縣)이 있었으며 무주(武州)에 속하였다.
995년(성종 14) 낭주안남도호부(朗州安南都護府)로 하였고, 1018년(현종 9) 영암지군사(靈巖知郡事)로 고쳐 황원군(黃原郡)ㆍ도강군(道康郡)과 곤미현(昆湄縣)ㆍ해남현(海南縣)ㆍ죽산현(竹山縣)을 관할하였다.
고려 말에 왜구의 침입이 잦아 1359년(공민왕 8) 전라남도 완도의 보길도(甫吉島)와 제주의 추자도(楸子島) 등지에서 전투가 있었다.