본관은 안동(安東). 자는 경명(敬明), 호는 포음(圃陰). 아버지는 영의정 김수항(金壽恒)이고, 어머니는 안정나씨(安定羅氏)로 해주목사 나성두(羅星斗)의 딸이다. 여섯 형제 중 다섯째로 태어났는데, 형 김창집(金昌集)·김창협(金昌協)·김창흡(金昌翕)·김창업(金昌業)과 함께 문장대가로 당시 육창(六昌)이라 불렸다. 조봉원(趙逢源)의 문하에서 수학하였다.
1682년(숙종 8) 20세로 『징회록(澄懷錄)』을 편집하였고, 1684년 생원시에 합격하여 교관에 임명되었으나 나가지 아니하였다. 1689년 기사환국으로 아버지 김수항이 사사되자 벼슬을 그만두고 학문에 전념하였다.
1700년 아버지의 유문인 『문곡집(文谷集)』을 간행했다. 1710년 왕자사부(王子師傅)를 거쳐 예빈시주부(禮賓寺主簿)를 지냈다. 문장과 훈고(訓詁)에 능하고 성리학에도 조예가 깊었다. 제자로는 유척기(兪拓基) 등이 있고 저서로는 『징회록(澄懷錄)』 1권과 『포음집(圃陰集)』 6권이 있다.