본관은 광산(光山). 자는 치중(致中), 호는 죽헌(竹軒). 김익겸(金益兼)의 증손으로, 할아버지는 광성부원군 김만기(金萬基)이고, 아버지는 호조판서 김진구(金鎭龜)이며, 어머니는 이광직(李光稷)의 딸이다.
일찍이 진사가 되고, 1712년(숙종 38) 익릉참봉에 기용되었으며, 1718년 감제(柑製)에서 수석하여 호조좌랑에 오르고, 이듬해 별시 문과에 병과로 급제하여 지평이 되었다. 이때 숙종의 질환으로 세자대리청정(世子代理聽政)이 실시되자 의리와 명분을 바로잡기 위해 소론들과 논쟁하였다.
그 뒤 정언·수찬을 역임하였으며, 1720년 경종이 즉위하자 소론의 이진검(李眞儉)·이진유(李眞儒) 등이 호조참판인 형 김운택(金雲澤)을 논핵하자 형의 용서를 청하는 소를 올리고 수찬·교리·남학교수(南學敎授) 등에 임명되었으나 모두 나아가지 않았으며, 그 뒤 실록청낭관·지제교(知製敎)를 역임하였다.
1721년(경종 1) 김창집(金昌集) 등 노론4대신(老論四大臣)이 절도(絶島)에 안치되고, 다음 해 경종을 시해하려 모의하였다는 목호룡(睦虎龍)의 고변 명단에 끼어 선천에 유배되었다가 다시 하옥되어 옥사하였다.
1741년(영조 17) 관작이 회복되었으며, 김제겸(金濟謙)·조성복(趙聖復)과 함께 신임사화 때 죽은 삼학사(三學士)로 일컬어진다. 저서로는 『죽헌집(竹軒集)』이 있다.