본관은 안동(安東). 자는 노부(魯夫). 아버지는 김인순(金麟淳)이며, 김이순(金頤淳)에게 입양되었다. 형이 이조판서 김수근(金洙根)이며, 사위가 철종이다.
1841년(헌종 7) 음직으로 가감역(假監役)이 된 뒤 현감을 지내다가 1851년(철종 2) 딸이 왕비로 책봉되어 영은부원군(永恩府院君)에 책봉, 영돈녕부사가 되었고, 제2차 안동김씨 세도정치의 중심인물이 되었다. 또, 금위대장·총융사·훈련대장 등의 군사요직을 거쳤다.
1860년 대사헌 서대순(徐戴淳)이 상소하여, 철종이 죽은 뒤 왕위계승의 가장 유력한 인물이던 경평군(慶平君) 이호(李晧)가 판중추부사 김좌근(金左根) 등과 김문근을 비난한다고 하며 경평군의 처벌을 주장하였다. 이에 철종은 경평군을 전라도 강진으로 유배보내고, 한편으로 종정부(宗正府)에 명하여 속적(屬籍)을 끊어 경평군의 작호를 환수하였다.
김좌근·김병국(金炳國)·김병기(金炳冀) 등과 함께 성밖으로 한때 퇴출되었으나 왕명으로 곧 돌아왔다. 1862년에는 돈녕부도정(敦寧府都正) 이하전(李夏銓)의 역모를 빨리 처분하도록 청하여 왕족을 모해하고 안동김씨의 세도정치를 강화하도록 노력하였다.
이듬해 죽자 철종은 부기(副器) 일부를 수송하도록 하고, 성복일에는 승지를 보내어 제사지내고 3년간 녹봉을 그대로 지급하며, 예장(禮葬) 등속은 전례를 따르도록 하였다. 영의정에 추증되었다. 시호는 충순(忠純)이다.