본관은 안동(安東). 자는 경선(景先), 호는 황산(黃山). 할아버지는 김이기(金履基)이고, 아버지는 영안부원군(永安府院君) 김조순(金祖淳)이며, 어머니는 홍배호(洪配浩)의 딸이다.
1810년(순조 10) 부사과(副司果)로 식년 문과에 을과로 급제한 뒤 곧 홍문록회권(弘文錄會圈)에서 5점을 얻고 사서를 거쳐 검상(檢詳)이 되었다. 1817년에는 이조참의가 되고, 2년 뒤에는 대사성을 역임한 뒤 곧 홍문관부제학(弘文館副提學)이 되었다.
1822년 이조참판에 오르고, 3년 뒤에는 대사헌이 되었으며, 1827년 평안도관찰사로 부임하는 도중 면회를 거절당한 전직 관리(德川郡에서 퇴임한 전직 아전)에 의해 일행이 살상되는 흉변을 당하여 부임하지 않고, 돌아와서는 병조판서에 올랐으며, 곧이어 이조판서로 자리를 바꾸었다.
아버지가 사망한 뒤 군사의 실권을 잡아 판돈녕부사에 올랐으나, 중풍에 걸려 4년간 말을 못하는 고통을 받다가 죽었다. 시와 서화에 모두 능하였으며, 특히 갈필(渴筆: 붓에 먹물을 묻혀서 그리는 수법)을 사용하여 지극히 간일(簡逸: 간략하면서도 안락함)하고 문기(文氣) 넘치는 남종문인화(南宗文人畵)를 잘 그렸다.
유작으로 개인 소장의 「오주고목도(五株枯木圖)」와「괴석도(怪石圖)」, 국립중앙박물관 소장의 「연산도(硏山圖)」 등이 있다.