본관은 경주(慶州). 자는 덕수(德叟), 호는 소정(邵亭). 충주목사 김사직(金思稙)의 아들이며, 영의정 김홍집(金弘集)의 아버지이다.
1838년(헌종 4) 음보(蔭補)로 정릉참봉(靖陵參奉)이 되었고, 1843년 식년 문과에 갑과로 주1, 이조 · 호조 · 예조 · 병조참판 및 한성부좌윤 · 한성부우윤 · 사헌부대사헌 · 홍문관제학 · 목사(牧使) 등을 역임한 뒤 고종조초에는 개성부유수를 지냈다.
외직에 있을 때에는 선정을 베풀어 지방민의 칭송을 받았는데, 특히 정주 · 청주목사로 재임시에는 폐단이 많던 대동미(大同米) 조운제도의 개혁을 시도하기도 하였다.
경사(經史)에도 밝았으며 시문에 더욱 능하였다. 저술로는 『소정고(邵亭稿)』 6권과 『청묘의례(淸廟儀禮)』 10권이 있다.