본관은 울산(蔚山). 자는 용구(用九). 성리학자 김인후(金麟厚)의 4세손으로, 아버지는 김형우(金亨祐)이며, 어머니는 허열(許說)의 딸이다.
어려서부터 학문에 정진하였으며, 유학뿐 아니라 역사·의학·지리·천문 등에도 두루 능통하였다.
스승인 송시열(宋時烈)이 사사되자 부근에 살고 있던 선비들을 모아 장례를 주관하는 한편, 스승을 모시는 사당을 짓고 그것을 운영하는 규칙을 만들었다. 숙종 때의 명신이었던 김수항(金壽恒)의 여러 자제들과 깊이 사귀었는데, 벼슬길에는 뜻이 없어 과거에는 응하지 않았으나 학행(學行)으로 추천받아 후릉참봉(厚陵參奉)이 되었다.