본관은 경주(慶州). 자는 여수(汝綏), 호는 한간(寒澗). 할아버지는 증좌찬성 김두광(金斗光)이고, 아버지는 현감 김운경(金運慶)이며, 영조의 장인인 김한구(金漢耉)의 종제이다. 우의정 김관주(金觀柱)의 아버지이다. 한원진(韓元震)의 문인이다.
종질녀가 영조의 계비인 정순왕후(貞純王后)가 되자 그 후광을 업고 중앙의 명사들과 교유하고 노론벽파(老論僻派)의 당론을 조종하는 등 당쟁에 깊이 관여하였다.
관직은 세자익위사세마(世子翊衛司洗馬)에 그쳤으나, 종질인 김구주(金龜柱)와 함께 김상로(金尙魯)·홍계희(洪啓禧)·정휘량(鄭翬良)·신만(申晩) 등 벽파 대신들을 조종하여 1762년(영조 38) 사도세자(思悼世子)의 허물을 들추어내어 죽게 하였다.
이어서 벽파(僻派)가 더욱 득세하자 시파(時派)의 핵심인물인 홍봉한(洪鳳漢)을 탄핵하여 관직에서 물러나게 하고, 왕세손(뒤의 정조)까지 해치려 하였으나 뜻을 이루지 못하였다. 죽은 뒤 죄에 대한 추율안(追律案)이 비등하여져, 1806년(순조 6) 김이양(金履陽) 등의 무고로 관작이 추탈되었다가 1864년(고종 1)에 관작이 회복되었다.