자는 무기(無己), 호는 죽헌(竹軒). 아버지는 도첨의참리(都僉議參理) 김변(金賆)이다.
1290년(충렬왕 16)에 원나라의 반적(叛賊) 합단(哈丹)이 수만 명의 군사를 거느리고 침범하자 가족이 강화로 피난했는데, 14세의 나이임에도 불구하고 지휘하는 것이 어른과 같았다고 한다.
음보(蔭補)로 노부판관(鹵簿判官)이 되었다가 신호위장군(神虎衛將軍)이 되었다. 홍자번(洪子潘)의 천거로 변정도감부사(辨正都監副使)를 거쳐서, 감찰시승(監察侍丞)이 되어 소송사건을 신속하고 공정하게 처리하였다.
내신(內臣)을 강력하게 탄핵하다가 주관(州官)으로 좌천되었다. 이 때 궁실과 불사를 수리할 때 사자(使者)가 사방으로 돌아다니면서 징발했으나, 김륜이 다스리는 주(州)에는 감히 들어가지 못해 주민(州民)들이 편안히 지내게 되었다.
일찍이 충렬왕을 따라 원나라에 가서 시종했고, 심왕(瀋王) 왕고(王瀋)를 고려왕으로 세우려는 무리들의 연판장에 서명을 거절하기도 하였다. 경상·전라도도순문사(慶尙全羅道都巡問使)가 되어 합포(合浦: 馬山)를 지킬 때 호령이 엄명하고 이민(吏民)을 편안하게 하였다.
그 뒤 첨의평리(僉議評理)·상의회의도감사(商議會議都監事)·삼사우사(三司右使)가 되었다. 1339년(충숙왕 복위 8) 조적(曺頔)의 난에 연루된 죄인을 다스릴 때 “그들은 조적에게 속았을 따름이니, 족히 책하리오.”라 하고 고문을 하지 않고 관용을 베풀었다. 이에 죄인들이 감복해 죄상을 숨김없이 자백했다고 한다.
한편 원나라의 승상 백안(伯顔)이 반역자인 조적을 두둔해 충혜왕을 소환하자, 왕과 함께 원나라에 가서 간명하게 사리를 밝혀 왕에 대한 의혹을 풀게 하였다. 그 때 원나라의 관리들이 나이가 육십이 넘은 그를 보고 백수재상이라는 칭호를 붙여주었다.
충혜왕이 고려에 돌아와 김륜을 벽상일등공신(壁上一等功臣)과 추성찬리공신(推誠贊理功臣) 언양군(彦陽君)에 봉했으며, 그 부모와 처자에게도 관작과 토지·노비가 하사되었다.
1343년에 충혜왕이 정동성(征東省)에서 원나라의 사신 고용보(高龍普)·타치(朶赤) 등에게 변을 당하고 다시 원에 잡혀갔다. 이에 왕을 구출하려고 이제현(李齊賢)에게 원나라에 보내는 상소장을 쓰게 하였다. 그러나 대신들이 원나라 황제의 노여움을 살까 두려워하여 서명을 하지 않아 그 뜻을 이루지 못하고, 이 사실을 분하게 여겼다.
1344년(충목왕 즉위년)에 찬성사로 승진되고, 그 뒤 좌정승에 올랐다. 관직에서 물러나기를 청하자 부원군에 봉해지고, 공신의 호에 보리(補理)가 더해졌다. 1348년에 강윤충(康允忠)의 죄상을 들어 탄핵하였다. 그 해 충혜왕의 시호를 청하러 원나라에 가려고 하다가 풍질에 걸려 죽었다. 시호는 정렬(貞烈)이다.