본관은 경주(慶州). 자는 덕수(德叟), 호는 소정(邵亭). 충주목사 김사직(金思稙)의 아들이며, 영의정 김홍집(金弘集)의 아버지이다.
1838년(헌종 4) 음보(蔭補)로 정릉참봉(靖陵參奉)이 되었고, 1843년 식년 문과에 갑과로 급제, 이조·호조·예조·병조참판 및 한성부좌윤·한성부우윤·사헌부대사헌·홍문관제학·목사(牧使) 등을 역임한 뒤 고종조초에는 개성부유수를 지냈다.
외직에 있을 때에는 선정을 베풀어 지방민의 칭송을 받았는데, 특히 정주·청주목사로 재임시에는 폐단이 많던 대동미(大同米) 조운제도의 개혁을 시도하기도 하였다.
경사(經史)에도 밝았으며 시문에 더욱 능하였다. 저술로는 『소정고(邵亭稿)』 6권과 『청묘의례(淸廟儀禮)』 10권이 있다.