본관은 경주(慶州). 자는 백공(伯恭). 아버지는 개성유수 김겸(金謙)이다. 정종의 둘째딸 숙신옹주(淑愼翁主)와 결혼하여 부마가 되었다.
1418년(태종 18) 부지돈녕부사(副知敦寧府事)가 되었고, 이어서 동첨지돈녕부사(同僉知敦寧府事)·상호군(上護軍)·세자우익위(世子右翊衛)·판선공감사(判繕工監事)·판봉상시사(判奉常寺事)를 역임하고, 통정대부(通政大夫)·공조참의가 되었다.
이어서 병조참의·형조참의를 거쳐 1437년 가선대부(嘉善大夫)에 올라 충주목사에 제수되고, 광주목사를 거쳐 1442년(세종 24) 한성부윤으로 진향사(進香使)가 되어 명나라에 다녀왔다.
그 뒤 외직으로 나가 황해도관찰사·경기도관찰사를 역임하고, 1447년 형조참판이 되었다. 이듬해 48세로 자헌대부(資憲大夫)에 올랐으나, 곧 뇌물수수 혐의로 탄핵을 받아 전라도 영광으로 유배되었다. 문종이 즉위하여 직첩과 고신(告身: 관직 임명장)을 환급해주었다.
지돈녕부사·한성부윤·개성유수를 거쳐, 문종이 죽자 고부 겸 청시사(告訃兼請諡使)로 명나라에 다녀왔다. 1457년(세조 3) 대사헌을 거쳐 중추원사(中樞院事)·인순부윤(仁順府尹)·전라도관찰사를 거쳐 1460년 숭정대부(崇政大夫)에 올랐고, 판돈녕부사(判敦寧府事)에 제수되었다.
70년 동안 벼슬하면서 7조(七朝)를 보좌하였다. 천성이 온순하고 단아하여 일생 동안 성을 내본 일이 없었다고 한다. 시호는 양평(良平)이다.