본관은 안동(安東). 자는 백술(伯述), 호는 자오(紫塢). 우의정 김수항(金壽恒)의 후손으로, 할아버지는 김이소(金履素)이며, 아버지는 목사 김지순(金芝淳)이다.
1816년(순조 16) 생원이 되고 음보(蔭補)로 의령·광주(廣州) 등지의 판관을 거쳐 1837년(헌종 3) 승지에 이르렀다. 같은 해 딸이 헌종비에 책봉되자 영흥부원군(永興府院君)에 봉해지고 영돈녕부사에 올랐다. 이어 호위대장·어영대장·주사대장(舟師大將) 등 무반의 중요직을 역임하였다.
순조 때 김조순(金祖淳)을 중심으로 한 안동김씨 세력을 견제하기 위해 새로이 대두한 풍양조씨의 세도세력에 대항하기 위해 다시 형성한 안동김씨의 중심인물이었다. 영의정에 추증되었으며, 시호는 효간(孝簡)이다.