본관은 안동(安東). 자는 경은(景隱), 호는 하옥(荷屋). 영의정 김창집(金昌集)의 5대손으로, 할아버지는 김이중(金履仲)이고, 아버지는 영안부원군(永安府院君) 김조순(金祖淳)이며, 어머니는 심건지(沈健之)의 딸이다. 순조비 순원왕후(純元王后)가 누이이다.
1819년(순조 19)에 생원이 되고 부수(副率)·상의원첨정(尙衣院僉正)을 거쳐 1838년(헌종 4) 판관으로 정시 문과에 병과로 급제, 부교리(副校理)·직각(直閣)·대사성·이조참의·공조판서·이조판서·한성부판윤·대사헌·병조판서·지돈녕부사(知敦寧府事) 등 요직을 역임하였다.
1850년(철종 1)에는 우참찬·제학 겸 지실록사를 거쳐 총위영(總衛營)을 총융청(總戎廳)으로 개편, 총융사(總戎使)를 맡고 이어 금위대장 등 무직(武職)의 수뇌부를 관장하여 당시 혼란한 사회를 무력으로 진압하려 하였다.
그 뒤 예조판서·형조판서·훈련대장·공조판서·호조판서를 거쳐 영의정에 세 번씩이나 보직되어 안동김씨 세도정치의 중심인물이 되었다.
1862년 삼정문란(三政紊亂)으로 발생한 각지의 민란을 진정해보려는 의도에서 설립된 이정청(釐整廳)의 총재관(總裁官)을 맡기도 하였으나, 1864년 고종이 즉위하고 흥선대원군(興宣大院君)이 실권을 장악하자 실직에서 물러나 실록총재관으로 『철종실록(哲宗實錄)』 편찬에 참여한 뒤 영돈녕부사로 1866년 기로사에 들어갔다.
인품은 정량(貞亮: 곧으면서 맑음)하고 공평하였으나, 안동 김씨 세도정치시기의 핵심인물이었다는 점에서 조선 후기 역사에 끼친 영향이 컸다. 시호는 충익(忠翼)이다.