본관은 경주(慶州), 자는 국로(國老)이다. 시호는 충헌(忠憲)이다. 고조할아버지 김홍욱(金弘郁)은 효종 때 황해도관찰사를 지냈으며, 강빈옥사(姜嬪獄事)로 사사(賜死)된 강빈(姜嬪)의 신원(伸冤)을 주장하였다가 장살되었다. 할아버지는 김두광(金斗光), 아버지는 호조참의를 지낸 김선경(金選慶), 어머니 남양홍씨는 홍주화(洪胄華)의 딸이다. 부인 원주원씨는 좌의정 원평부원군 원두표(元斗杓)의 딸이다.
1759년(영조 35) 딸이 영조의 계비 정순왕후(貞純王后)로 간택되어 영조의 장인이 되자 돈녕부도정(敦寧府都正)이 되고, 이어 영돈녕부사(領敦寧府事)가 되어서 오흥부원군의 작호를 받았으며, 금위대장이 되었다.
1760년 유숙(柳淑)과 김홍욱을 제향한 충청도 서산의 성암서원(聖巖書院)에 영의정 김상로와 함께 복설을 청하여 성사되었다. 1762년에 어영대장이 되었다. 강화(江華)를 방어하는 계책으로 교동과 영종도를 좌우방어사로 나누어 소속시켜서 효율성을 높일 것을 청하기도 하였다.
1764년에 아들 김구주(金龜柱)가 척신으로서 당론에 관여하였다는 이유로 파직되었고, 자식을 잘못 가르친 죄로 김한구에게도 파직의 명이 내렸으나 곧 바로 복귀하여 금위대장으로 생을 마쳤다. 또 장악원제조로도 활동하였으며, 진연도감 당상도 역임하였다.