본관은 광산(光山). 자는 여익(汝翼), 호는 퇴어(退漁). 김반(金槃)의 증손으로, 할아버지는 참판 김익훈(金益勳)이고, 아버지는 김만채(金萬埰)이며, 어머니는 이항(李杭)의 딸이다.
1699년(숙종 25) 진사가 되고 1712년 정시 문과에 병과로 급제하였다. 설서(說書)·지평(持平) 등의 관직을 두루 역임하였으며, 1720년 홍문록에 올라 수찬(修撰)을 지냈다. 1722년(경종 2) 신임옥사로 무산(茂山)에 유배당하였으나 1724년 영조가 즉위하자 풀려나 이조정랑으로 등용되었다.
이어 수찬·필선(弼善)·부교리(副校理) 등을 역임하던 중 1729년(영조 5) 기유처분(己酉處分)으로 실시된 탕평책에 반발하여 퇴거하기도 하였으나 다시 환로에 진출하여 1735년 부제학(副提學), 1738년 대사성, 1740년 대사헌을 거쳐 1753년 좌참찬에까지 이르렀다.
1716년 병신처분(丙申處分) 뒤 윤선거(尹宣擧)의 서원과 문집목판을 훼철할 것을 청하였으며 1719년에는 희빈장씨(禧嬪張氏)의 묘를 이장할 때 동궁이 망곡(望哭: 먼 곳에서 어버이의 상사에 대해 그곳을 향해 슬피우는 일)하려는 것을 막는 등 과격한 노론의 입장을 고수하였다. 글씨에 능하여 많은 비문을 썼다. 문집으로 『퇴어당유고(退漁堂遺稿)』가 전한다.