본관은 안동(安東). 자는 범초(範初). 호는 소산(小山). 좌의정 김홍근(金弘根)의 아들로 이조판서 김유근(金逌根)에게 입양되었다. 양아버지인 김유근은 영안부원군(永安府院君) 김조순(金祖淳)의 아들이다. 이에 따라 안동김씨 세도가의 핵심적인 인물의 하나로서 주요 관직을 두루 역임하였다.
1851년에 정시문과에 을과로 급제하였다. 1849년(철종 즉위년) 예문관검열, 1852년 홍문관수찬, 1853년 규장각직각(奎章閣直閣), 1856년 성균관대사성, 1857년 홍문관부제학, 1858년 규장각직제학, 1859년부터 1863년까지 예문관제학·대사헌·이조참판·도승지·평안도관찰사·형조판서·예조판서·한성부판윤·경상도관찰사·의정부좌참찬 등을 역임하였다.
1863년에 흥선대원군(興宣大院君)이 집권한 이후 안동김씨 일문의 위세가 꺾였으나, 그뒤에도 병조판서와 이조판서를 역임하는 등 주요관직을 계속해서 맡았다. 시호는 효문(孝文)이다.