본관은 안동(安東). 자는 경용(景用), 호는 영어(穎漁). 이조판서 김수근(金洙根)의 아들이며, 김병학(金炳學)의 동생이다.
1850년(철종 1) 증광문과에 병과로 급제한 뒤 대교(待敎)를 거쳐, 1853년 대사성에 특진하였다.
1857년 예조판서, 1858년 병조·호조의 판서 등 안동김씨 세도의 물결을 타고 내외의 요직을 역임하였고, 1860년 훈련대장에 이르렀다. 1864년(고종 1) 흥선대원군의 집권과 더불어 안동김씨 세도는 일단 후퇴하였으나, 그 이전부터 흥선대원군과 관계를 맺어왔던 김병국은 이조판서가 되었다.
1865년 경복궁 중건 때에는 판중추부사(判中樞府事)로 영건도감제조(營建都監提調)를 지냈다. 1867년 정리사(整理使)·판삼군부사(判三軍府使), 1874년 우의정이 되어 1876년 강화도조약에 대한 고종의 자문에 사태를 보아 정책을 강구하자는 중도적 입장을 취하였다.
1878년 좌의정이 된 뒤, 1880년 황준헌(黃遵憲)의 『조선책략(朝鮮策略)』에 따라 연미국론(聯美國論)을 주장, 미국과의 수교에 찬성하였다. 1882년 임오군란을 계기로 사태의 수습에 나선 흥선대원군이 통리기무아문(統理機務衙門)을 혁파하고 삼군부(三軍府)를 설치함에 따라 영삼군부사(領三軍府事)가 되었다.
이어 호조판서·총리통리내무아문사무(總理統理內務衙門事務)를 거쳐 12월 총리군국사무(總理軍國事務)가 되었다. 1884년 영의정 세자사 총리군국사무(領議政世子師總理軍國事務)를 역임하고, 같은 해 영돈녕부사(領敦寧府事)가 되었다가 1885년 벼슬에서 물러났다.
김병국이 지은 「예릉지문악장(睿陵誌文樂章)」이 『예릉지장(睿陵誌狀)』에 수록되어 있다. 시호는 충문(忠文)이다.