본래 백제의 고미현(古彌縣)인데, 757년(경덕왕 16) 곤미로 이름을 바꾸었다. 반남군(潘南郡)에 속하였다가 1018년(현종 9) 영암군으로 되었다.
영암군 곤일시면(昆一始面)ㆍ곤일종면(昆一終面)ㆍ곤이시면(昆二始面)ㆍ곤이종면(昆二終面)이 바로 곤미의 옛 땅인데, 곤일시는 영암에서 서쪽으로 끝이 40리, 곤일종은 90리, 곤이시는 40리, 곤이종은 50리로 『신증동국여지승람』에 나와 있고, 서창(西倉)은 서쪽 40리로 기록되어 있다.
1914년 행정구역 개편 때 곤일시는 영암군 미암면으로, 곤일종은 삼호면으로, 곤이시와 곤이종 일부는 학산면으로, 그리고 곤이종 일부는 서호면으로 되었는데 이 일대가 곤미현의 옛 땅이 되는 셈이다. 1872년 간행된 『호남읍지』에는 곤미의 한자표기가 ‘昆眉(곤미)’로 기록되어 있다.