신라 말기까지 김해소경(金海小京)이었는데, 940년(태조 23) 김해부로 강등시켰다가 다시 임해현으로 낮추었다. 뒤에 군으로 승격시켰고 995년(성종 14) 금주안동도호부(金州安東都護府)로 고쳐 영동도(嶺東道)에 예속시켰다. 따라서 임해현의 명칭은 고려 초에 55년간 사용되었다.
김해라는 지명은 군읍(君邑) 또는 군성(君城)에서 유래된 것이고, 임해는 바닷가에 있다는 의미를 가진다.
김해소경에서 현으로까지 강등된 원인은 밝혀지지 않았으나, 고려의 건국과정에서 이곳의 호족들이 뚜렷한 공로를 세우지 않은 것과 관련되었을 것으로 추측된다. 이곳은 비옥한 낙동강 하구에 위치하여 가야시대부터 물산이 풍부하고 인구가 많았으며, 고려 원종 이후부터는 도호부로 존속하였다.