본래 백제의 무시이군(武尸伊郡)이었는데, 당나라에 망한 뒤 사반주(沙泮州)의 영현(領縣)으로 모지군(牟支郡)이 되었다. 신라 경덕왕 때 무령군으로 바꾸어 무진주(武珍州)에 예속시켰고, 장사(長沙)ㆍ무송(茂松)ㆍ고창(高敞)의 세 현을 영현으로 삼았다. 고려 태조 때 영광군으로 이름이 바뀌어 오늘에 이른다.
무시이의 ‘무시(武尸)’는 크다는 뜻을 가지며 ‘이(伊)’는 거리ㆍ읍성(邑城)을 뜻하므로 ‘대읍(大邑)’이 된다. 무령도 무시이와 같은 의미를 가진다. 부근에 법성창(法聖倉)이 있어 백제 때 당나라와의 무역이 활발하였다고 한다.