본관은 청풍(淸風). 자는 사직(士直), 호는 검재(儉齋). 할아버지는 김극형(金克亨)이고, 아버지는 관찰사 김징(金澄)이며, 어머니는 이의길(李義吉)의 딸이다. 박세채(朴世采)·송시열(宋時烈)의 문인이다.
일찍이 학문에 조예가 깊어 박세채가 후계자로 지목하였으며, 송시열도 재주를 중히 여겼다.
1674년(현종 15) 자의대비(慈懿大妃)의 복상문제(服喪問題)를 둘러싸고 제2차 예송(禮訟)이 벌어져, 송시열·박세채 등이 화를 입게 되자 과거를 포기하고 경기도 이천에 은거하였다.
1683년(숙종 9) 사마시에 합격, 경학(經學)으로 추천받아 창릉참봉에 등용되었으며, 정랑을 거쳐 1699년 증광 문과에 병과로 급제, 찬수낭관(纂修郎官)이 되어 『동국여지승람(東國輿地勝覽)』을 증보했다.
1715년 황해도관찰사를 거쳐 이조참판 겸 양관(兩館) 대제학을 지냈다. 좌찬성에 추증되고, 서흥의 화곡서원(花谷書院)에 제향되었다. 시호는 문경(文敬)이다. 저서로 『소학집주(小學集註)』·『증보주자외기(增補朱子外記)』·『존주록(尊周錄)』·『검재집(儉齋集)』 등이 있다.