본관은 경주(慶州). 자는 사경(士經), 호는 주하(柱下). 김한정(金漢楨)의 증손으로, 할아버지는 김태주(金泰柱)이고, 아버지는 판서 김노응(金魯應)이며, 어머니는 이진국(李鎭國)의 딸이다. 삼촌 김노익(金魯翼)에게 입양되었다.
1813년(순조 13) 증광 문과에 병과로 급제해 검열·설서·정언 등 청요직(淸要職)을 거쳐 호조·형조·예조의 참의를 거쳤다. 그 뒤 이조참판·경기도관찰사·한성부좌윤을 역임하고, 1838년(헌종 4) 판서, 1842년 우의정, 1843년 좌의정에 올랐다가 판돈녕부사로 은퇴하였다.
정언으로 있을 때, 각 도의 영장(營將)이 영진(營鎭) 소속의 평민을 능욕하는 폐단이 많자 충청도·전라도·경상도·강원도의 영장 혁파를 건의했으나 영의정 서용보(徐龍輔)의 반대로 중지되었다.
재상이 되어서는 1845년(헌종 11) 흉언죄인(凶言罪人)의 처리와 조선에 온 영국 군함의 처리 방침 결정 및 죄인을 다른 도로 정배하는 일을 형조에서 관장하지 못하도록 하였다. 또 서원을 함부로 건립해 폐단을 끼치는 것을 금하도록 하였다.
같은 해 성균관의 승시제(陞試制)를 거듭 명확하게 하고, 영국 선박의 내왕과 동태를 동래부 왜관으로 하여금 에도막부(江戶幕府)에 전보하게 했으며 사절들의 노자(路資)와 관련된 폐단을 고치도록 하였다.
1849년 외국 선박의 내왕이 많아지면서 민정이 떠들썩하자 이에 대한 경계를 엄히 하고 유언비어를 단속하며, 수령들을 감찰하기 위해 암행어사를 파견하였다.
또, 산송(山訟)의 폐가 많아지자 남의 무덤을 파는 죄를 지은 자는 특사에서도 제외시켜 반드시 3년 유배를 마치고 석방시킨다는 규율을 마련하였다. 1851년 실록총재관이 되어 『헌종실록(憲宗實錄)』을 편찬하였다. 시호는 효헌(孝憲)이다.