본관은 광산(光山). 자는 중시(仲施), 호는 척재(惕齋). 의사(義士) 김익겸(金益兼)의 증손으로, 할아버지는 서인의 거두인 김만기(金萬基)이고, 아버지는 판의금부사(判義禁府事) 김진구(金鎭龜)이며, 어머니는 이광직(李光稷)의 딸이다. 김춘택(金春澤)의 동생으로, 숙종의 장인이다.
종제로는 1721년(경종 1) 신임사화 때 노론의 사대신의 일파로 지목되어 거제에 유배된 김복택(金福澤)이 있다.
1689년(숙종 15) 인현왕후가 폐비되고 송시열(宋時烈)·김수항(金壽恒) 등이 사사(賜死)되는 기사환국으로 집안이 크게 화를 입어, 아버지 김진구가 섬으로 정배되자 형 김춘택과 함께 섬에서 학문을 닦았다.
1694년 갑술옥사로 남인이 축출되고 송시열·김수항 등이 신원(伸寃: 억울하게 입은 죄를 회복함)되는 등 서인이 집권하자, 이듬해인 1695년 별시 문과에 병과로 급제하였다. 그러나 노소 분쟁으로 등용되지 못하다가 5년 뒤에야 연원찰방(連原察訪)으로 관직에 나가 검열·정언(正言) 등 삼사(三司)의 요직을 역임하였다.
1701년 희빈 장씨(禧嬪張氏)의 처벌을 놓고 중형을 주장하는 노론과 가벼운 형을 주장하는 소론이 정면으로 대립할 때, 형 김춘택과 함께 소론의 영수인 남구만(南九萬)·최석정(崔錫鼎)을 호역죄(護逆罪: 반역을 옹호한 죄)로 탄핵했다.
그리고 역시 소론의 영수로서 스승인 송시열의 학문과 덕행의 부족함을 지적했던 윤증(尹拯)을 배사죄(背師罪: 스승을 배반한 죄)로 논핵하였다. 세자시강원의 문학(文學)·보덕(輔德) 등을 거쳐, 1715년 전라도관찰사가 되었다.
노론의 선봉으로 성품이 강직했으며, 문장은 물론 글씨와 그림에 조예가 깊었다. 시호는 익헌(翼獻)이다.