본관은 안동(安東). 자는 백령(伯靈). 할아버지는 김조순(金祖淳)이며, 아버지는 김원근(金元根)이다.
1854년(철종 5) 정시문과에 병과로 급제한 후 관직에 나아갔다.
1863년 형조참판에 올랐고 이듬해 고종 때에는 실록청의 지실록사(知實錄事)가 되어 『철종실록(哲宗實錄)』편찬에 참여하였다. 1867년 도승지를 거쳐 그해 9월에는 한성부판윤, 그해 10월에는 공조판서가 되었다. 1875년 형조판서를 거쳐 그해 12월에는 청나라에 대한 반송사(伴送使)로 임명되었다.
1876년 다시 공조판서를 거쳐 수원부유수의 외직에 나아갔다. 2년간 수원부유수로 근무한 뒤 1878년 12월에는 함경감사 김세균(金世均)과 자리를 바꿔 함경도감사가 되었다. 함경감사로 있는 동안 개항장이 된 덕원부(德源府)의 원산항문제를 덕원부사 김기수(金綺秀)와 함께 조정에 일일이 보고하여 처리하도록 하였다.
그때 김병지가 올린 장계에는 덕원부 원산항 개항을 전후하여 일본상인 및 거류민들에 의해 빚어지는 경제적 침투과정이 드러나 있다. 1881년에는 한성부판윤에 올랐다. 시호는 효정(孝貞)이다.