본관은 상주(尙州). 호는 난계(蘭溪). 아버지는 판전의(判典醫) 김록(金祿)이다.
문과에 급제하여 예문검열(藝文檢閱)에 보직되었으며, 그 뒤 전객부령(典客副令)으로서 공민왕을 따라 원나라에 들어가 숙위하였다.
공민왕이 즉위하자 우부대언(右副代言)에 제수되었으며, 1357년(공민왕 6)에 서북면홍두왜적방어도지휘사(西北面紅頭倭賊防禦都指揮使)가 되었다가, 이어 추밀원직학사(樞密院直學士)에 오르고, 서북면도순문사겸서경윤상만호(西北面都巡問使兼西京尹上萬戶)가 되었다.
1359년 정월에 첨서추밀원사(詹書樞密院事)가 되었으며, 그 해 6월에 기철(奇轍)을 숙청한 공으로 2등공신에 올랐다. 같은 해 10월에 동지추밀원사가 되었다. 이로부터 얼마 되지 않아 홍건적의 괴수 위평장(僞平章) · 모거경(毛居敬)이 4만 대군을 거느리고 압록강을 건너 의주를 함락하였으며, 부사(副使) 주영세(朱永世) 및 주민 1,000여 명을 살해하였다.
이어 정주(靜州)에서는 도지휘사 김원봉(金元鳳)을 죽이고 인주(麟州)까지 함락시켰다. 이 때 김득배는 도지휘사가 되어 서북면도원수 이암(李嵒), 부원수 경복흥(慶復興)과 더불어 적에 대비하고, 안우(安祐) · 이방실(李芳實) 등과 함께 분전하여 서경을 탈환하고 압록강 밖으로 적을 격퇴시켰다.
1360년 3월에 그 공으로 수충보절정원공신(輸忠保節定遠功臣)에 책봉되고, 정당문학에 제수되었다. 같은 해 10월에 지공거가 되어 진사를 뽑고, 정몽주(鄭夢周) 등 33인을 급제시켰다.
1361년 다시 홍건적이 압록강을 건너 삭주 이성(泥城)으로 침입하자 서북면도병마사가 되어 상원수 안우, 도지휘사 이방실 등과 함께 이를 방어했으나, 안주에서 대패, 개경까지 함락당하였다.
다음 해에 안우 · 이방실 · 최영(崔瑩) · 이성계(李成桂) 등과 함께 20만의 군사를 거느리고 총병관(摠兵官) 정세운(鄭世雲)의 지휘로 적의 괴수 사유(沙劉) · 관선생(關先生) 등을 베고, 적 10여 만명을 죽이는 전과를 올리고 이들을 격퇴시켰다.
이 때, 정세운과 권력을 다투던 평장사 김용(金鏞)이 거짓으로 조서를 꾸며 안우 · 이방실 · 김득배에게 정세운을 살해할 것을 명하자, 이들은 그것을 믿고 정세운을 살해하였다. 그러나 이로 인해 죄를 입어 안우 · 이방실이 살해되었으며, 김득배도 처벌을 면할 수 없게 되어 도망하여 산양현(山陽縣)에 숨었으나 체포되어 상주에서 효수되었다.
김득배의 문생인 직한림(直翰林) 정몽주는 왕에게 청하여 김득배의 시신을 거두고 제문을 지어 억울한 죽음을 개탄하였다. 1392년(공양왕 4)에 김득배의 누명이 벗겨지고, 그 자손도 관직에 오르게 되었다.