본관은 연안(延安). 자는 군필(君弼), 호는 시은(市隱). 연흥부원군(延興府院君) 김제남(金悌男)의 현손으로, 할아버지는 지평(持平) 김홍석(金弘錫)이고, 아버지는 김호(金澔)이며, 어머니는 윤세익(尹世翊)의 딸이다. 아들이 영의정 김익(金熤)이다.
1718년 정시 문과에 을과로 급제하여 검열·정언(正言)을 지냈다. 1721년 신임사화에 관련되어 삭직, 관직에서 물러나 있다가, 1724년 영조가 즉위하면서 노론이 집권하자 간관이 되어 소론의 이광좌(李光佐)·조태억(趙泰億)·이삼(李森)·심단(沈檀) 등을 탄핵하는 데 앞장섰다.
남인의 남구만(南九萬)·최석항(崔錫恒)·윤지완(尹趾完) 등의 종묘배향을 반대하였다. 교리(校理)·부수찬(副修撰)·의주부윤·강화유수·한성부우윤을 거쳐 판돈녕부사로 재직하다가 죽었다. 저서로 『시은일록(市隱日錄)』이 있다. 시호는 정간(貞簡)이다.