김수로왕이 건국한 가야의 땅으로 532년(법흥왕 19) 신라의 땅이 되면서 가야군(伽倻郡, 또는 金官郡)으로 하였다. 680년(문무왕 20) 금관소경(金官小京)을 두었고, 757년(경덕왕 16) 김해소경으로 바꾸어 양주(良州)에 예속시켰다.
940년(태조 23) 김해부로 하였고, 뒤에 임해현(臨海縣)으로 낮추었다가 다시 군(郡)으로 하였다. 995년(성종 14) 금주안동도호부(金州安東都護府)로 하여 영동도(嶺東道)에 속하였다. 1012년(현종 3) 김해군으로 하여 방어사(防禦使)를 두었으며, 1018년 의안군(義安郡)ㆍ함안군(咸安郡)과 칠원현(漆原縣)ㆍ웅신현(熊神縣)ㆍ합포현(合浦縣)을 관할하였다.
1270년(원종 11) 방어사 김훤(金喧)이 밀성반란(密城反亂)과 삼별초난(三別抄亂)을 평정한 공이 있어 김녕도호부로 하였다. 1293년(충렬왕 19) 안렴사(按廉使)를 살해한 사건이 일어나 현(縣)으로 낮추었다가 1308년 금주목(金州牧)으로 승격되었다.
김해나 금관의 뜻은 ‘군장(君長)이 있는 수읍(首邑)’이며, 낙동강 하구에 있어 고려 때 왜구의 침입이 잦았고, 원나라가 진(鎭)을 설치하여 만호(萬戶)를 둔 적이 있다.