본관은 안동(安東). 자는 공기(公器). 김이장(金履長)의 증손으로, 할아버지는 김태순(金泰淳)이고, 아버지는 이조판서 김교근(金敎根)이며, 어머니는 오재선(吳載選)의 딸이다. 형이 이조참판 김병조(金炳朝)다.
1851년(철종 2) 진사가 되고 이듬해 현감으로 식년 문과에 갑과로 급제, 지평(持平)이 되었다.
1853년 이조참판에 특진된 뒤 수원부유수·대사성을 거쳐 1856년 전라도관찰사가 되었다. 1857년 형조·예조의 판서, 한성부판윤·대사헌·우참찬 등을 역임하고, 그해 대호군(大護軍)으로 산실청권초관(産室廳捲草官)과 안태사(安胎使)를 겸하였다. 1862년 이조판서·좌참찬·공조판서를 지내고 기로사(耆老社)에 들어갔다.
이듬해 한성부판윤이 되었으나 흥선대원군(興宣大院君)이 실권을 잡자 사임하였다. 그러나 다시 흥선대원군에 의해 중용되어 1864년(고종 1) 형조판서가 되고, 1868년에는 이조판서에 임명되었다. 그 뒤에도 공조판서·형조판서·판의금부사(判義禁府使)·상호군(上護軍) 등의 요직을 두루 역임하였다.