본관은 청도(淸道). 아버지는 김인수(金仁秀)이다.
1362년(공민왕 11) 총병관(摠兵官) 정세운(鄭世雲)이 홍건적을 물리쳤을 때, 이 사실을 알려와 황금 25냥과 비단 2필이 하사되었다.
홍건적이 다시 공격해온다는 보고가 있고, 또 원나라에서 군사를 내어 협공하자는 청이 있자, 동경도병마사(東京道兵馬使)로 임명되어 출정하였으나, 곧 적이 무너졌다는 보고가 들어와 출정을 중지하였다.
1360년(공민왕 9) 홍건적의 침입으로 복주(福州)로 피난 갔다가 이후 개경 수복에 공로를 세웠고, 1363년에 경성을 수복한 공으로 1등공신이 되었다. 1366년 감찰대부(監察大夫)에 임명되자 김한귀의 본관인 청도군의 지방관을 감무(監務)에서 지군사(知郡事)로 올렸다.