본관은 연안(延安). 자는 언장(彦章), 호는 소와(疏窩). 김현(金㻆)의 증손으로, 할아버지는 김수오(金粹五)이고, 아버지는 장령(掌令) 김호(金灝)이며, 어머니는 윤제(尹堤)의 딸이다. 아들이 김묵(金默), 손자가 대사헌 김재순(金載順)이다.
1709년(숙종 35) 알성 문과에 장원하여 정언(正言)에 서임되었다.
이어 세자시강원의 사서(司書)와 문학(文學)을 비롯하여 지평(持平)·수찬(修撰)·교리(校理)·장령·사간 등의 언관과 호군(護軍) 등을 역임하였다. 1724년 영조가 즉위하자, 노론의 선비들과 함께 상소하여 소론의 김일경(金一鏡)·이의연(李義淵)·목호룡(睦虎龍) 등을 제거하는 데 앞장섰다.
이듬해 황해도관찰사·대사간을 거쳐 1726년(영조 2) 사은 겸 동지부사가 되어 정사인 민진원(閔鎭遠)을 따라 청나라에 다녀왔다. 이어 승지·형조참판을 거쳐 1728년 이인좌(李麟佐)의 난이 일어나자 동지의금부사(同知義禁府事)가 되었다.
난이 평정된 뒤 탕평책을 반대하여 영조의 노여움을 사서 귀양갔다가 이듬해 풀려났다. 1730년 병조참판에 이어 대사간이 되고, 1735년 진위 겸 진향부사(陳慰兼進香副使)가 되어 정사인 낙창군(洛昌君) 이당(李樘)을 따라 청나라에 다녀왔으며, 1739년에 호조참판이 되었다.