본관은 연안(延安). 자는 자행(子行). 아버지는 고려 밀직제학(密直提學) 김도(金濤)이다.
1389년(창왕 1) 문과에 장원으로 급제하고 사헌규정(司憲糾正)에 제수되었으나, 곧 언사(言事)로 전라도에 유배되었다. 1390년(공양왕 2)에 풀려나 우정언(右正言)이 되고 정도전(鄭道傳)을 탄핵하다가 파면되었으며, 뒤에 예조좌랑이 되었다.
1392년(태조 1) 계림부판관(鷄林府判官)으로 재직할 때, 함창군으로 유배 온 좌주(座主) 이종학(李種學)을 정도전의 사주를 받은 손흥종(孫興宗)이 해치려는 것을 구하였다. 곧 소환되어 간관(諫官)으로 근무하던 중 정도전이 “공양왕 2년에 나를 탄핵한 성랑(省郎)은 모두 파직되었는데 오직 김여지만이 관직에 있다.”고 한 말을 듣고 사직하였다.
정도전이 실각한 뒤에 복직, 1402년(태종 2) 우헌납(右獻納)으로 재직 중 언사로 원평(原平)에 안치되었다. 다시 소환되어 병조·이조의 정랑(正郎)을 역임하였다. 1403년 장령(掌令)으로 승진했으나, 언사로 순금사(巡禁司)에 수금되었다가 풀려나면서 지봉주사(知鳳州事)로 쫓겨났다. 이듬해 예문관직제학(禮文館直提學), 집의(執義)로 옮겼다가 병으로 사직하였다.
1408년 판내섬시사(判內贍寺事), 우대언(右代言)·좌대언을 거쳐 1410년 지신사(知申事)가 되었다. 1413년 지신사로 있을 때 고려 종실의 후손인 왕거을오미(王巨乙吾未)의 동정을 알고도 보고하지 않은 죄로 파면되었다. 이듬해 예문관제학으로 복직되어 남재(南在) 등과 문과 회시(文科會試)를 주관하고, 충정도관찰사로 파견되었다.
1416년 대사헌이 되었고, 양녕대군(讓寧大君)이 세자에서 폐위되기까지 세자좌빈객을 겸임하였다. 1417년 어머니의 간병을 위해 사직했으나 허락을 받지 못하고 예문관제학이 되었다. 이어 공조판서·예조판서·판한성부사 등을 역임하였다.
1418년(세종 즉위년) 형조판서로서 하정사(賀正使)의 임무를 띠고 명나라에 다녀왔다. 그 뒤 병으로 일시 사직, 1422년 예조판서로 복직되었다. 이듬해 의정부참찬으로 발탁되었으나 병으로 다시 사직하였다. 성품이 충직하고 도량이 넓었으며, 태종·세종 성세의 일익이 되었다. 시호는 문익(文翼)이다.