본관은 안동(安東). 자는 여성(汝成), 호는 몽와(夢窩). 좌의정 김상헌(金尙憲)의 증손으로, 할아버지는 동지중추부사 김광찬(金光燦)이고, 아버지는 영의정 김수항(金壽恒)이며, 어머니는 호조좌랑 나성두(羅星斗)의 딸이다. 김창협(金昌協)·김창흡(金昌翕)의 형이다. 이른바 노론 4대신으로 불린다.
1672년(현종 13) 진사시에 합격했으나, 1675년 아버지 김수항이 화를 입고 귀양가자 과거 응시를 미루었다. 1681년(숙종 7) 내시교관을 제수받았고, 1684년 공조좌랑으로서 정시 문과에 을과로 급제, 정언(正言)·병조참의 등을 역임하였다.
1689년 기사환국 때 아버지가 진도의 유배지에서 사사되자, 귀향해 장례를 치르고 영평(永平)의 산중에 은거하였다. 1694년 갑술환국으로 정국이 바뀌어 복관되고, 병조참의를 제수받았으나 사임하였다. 다시 동부승지·참의·대사간에 임명되었지만 모두 취임하지 않았다.
그 뒤 철원부사를 제수받았는데, 이 때 큰 기근이 들고 도둑이 들끓어 민정이 소란하자 관군을 이끌고 토평하였다. 강화유수·예조참판·개성유수 등을 역임하고, 호조·이조·형조의 판서를 지냈다. 1705년 지돈녕부사를 거쳐 이듬해 한성부판윤·우의정, 이어서 좌의정에까지 이르렀다. 1712년에는 사은사로 청나라에 갔다가 이듬해 귀국, 1717년 영의정에 올랐다.
노론으로서 숙종 말년 세자의 대리청정을 주장하다가 소론의 탄핵을 받았다. 숙종이 죽은 뒤 영의정으로 원상(院相: 나이 어린 왕을 보필하던 재상급의 원로 관료)이 되어 온갖 정사를 도맡았다. 경종이 즉위해 34세가 되도록 병약하고 자녀가 없자, 후계자 선정 문제로 노론·소론이 대립하였다.
이 때 영중추부사 이이명(李頤命), 판중추부사 조태채(趙泰采), 좌의정 이건명(李健命) 등과 함께 연잉군(延礽君: 뒤에 영조)을 왕세자로 세우기로 상의해, 김대비(金大妃: 숙종의 계비)의 후원을 얻었다. 이에 경종의 비 어씨와 아버지 어유구(魚有龜), 사직(司直) 유봉휘(柳鳳輝) 등의 격렬한 반대가 있었으나 결국 실행하였다.
1721년(경종 1) 다시 왕세제의 대리청정을 상소해, 처음에 경종은 대소 정사를 세제에게 맡길 것을 허락했으나 소론의 격렬한 반대로 실패하였다. 수개월 후 소론의 극렬한 탄핵으로 노론이 축출되고 소론 일색의 정국이 되었다. 곧 이어 소론의 김일경(金一鏡)·목호룡(睦虎龍) 등을 중심으로 신임사화가 일어나자, 거제도에 위리안치되었다가 이듬해 성주에서 사사되었다.
1724년 영조 즉위 후 관작이 복구되었으며, 영조의 묘정(廟庭)에 배향되었다. 영조 때 과천에 사충서원(四忠書院)을 세워 이이명·조태채·이건명과 함께 배향했으며, 거제의 반곡서원(盤谷書院)에도 제향되었다. 저술로는 『국조자경편(國朝自警編)』·『몽와집(夢窩集)』 등이 있다. 시호는 충헌(忠獻)이다.