본관은 우봉(牛峰). 자는 계명(季明), 호는 광천(廣川).
1671년(현종 12) 역과에 급제하고, 1682년(숙종 8) 역관으로 일본과 청나라에 다녀왔다. 1692년 부사로 연경에 가는 민취도(閔就道)를 역관으로 수행했는데, 김지남의 권유로 자초법(煮硝法: 화약을 만드는 흙을 달이는 법)을 알아내기 위해 요양(遼陽)의 어느 시골집에 찾아가 사례금을 주고 방법을 배우던 중 갑자기 주인이 죽어 뜻을 이루지 못하였다.
당시 중국에서는 자초법을 국법으로 엄금했기 때문에 이를 알아내기란 무척 어려운 일이었다. 그러나 이듬해 다시 진하사(進賀使) 일행으로 청나라에 갔으며, 그 뒤에도 역관으로 중국을 방문할 때마다 되풀이해 물어 결국 그 방법을 알아냈다. 그리하여 1694년 이를 실험한 결과 성공했으나, 김지남을 지원하던 민취도가 평안도관찰사로 전근되어 더 이상 진척을 보지 못하였다.
1698년 병기창고 도제조 남구만(南九萬)의 지시에 따라 자초법에 따라 화약을 제조하였다. 성과가 매우 크자 숙종의 윤허를 얻어 제조법을 수록한 『신전자초방(新傳煮硝方)』을 저술해 군기시에서 간행, 반포하였다. 이 책은 1796년(정조 20) 정조에 의해 ‘금석(金石)과 같은 성헌(成憲)’이라고 높이 평가받았다.
그러한 공로가 인정되어 숙종이 높은 벼슬을 제수하려 했으나, 양사(兩司)에서 벼슬의 귀중함을 들어 역관에게 동서반 실직(實職)의 제수는 부당하다고 반대해 외직인 문성첨사(文城僉使)에 임명되었다.
1712년 청나라와 국경선을 확정짓기 위해 양국 대표가 회동할 때, 아들 김경문(金慶門)과 함께 수행해 청나라 대표 목극등(穆克登)을 상대로 하여 백두산정계비를 세우는 데 공이 컸다. 문사(文詞)와 중국어에 유창해 1714년에는 역관으로 사신을 수행하면서 보고들은 사실들을 참고로 하여 사대와 교린의 외교에 관한 연혁·역사·행사·제도 등을 체계화한 『통문관지(通文館志)』를 아들과 함께 편찬하였다.
이는 당시 외교에 종사하던 중신(重臣)·사절·역관 등 실무진의 편람(便覽) 및 사서(辭書)의 구실을 하는 필수서가 되었고, 국내뿐만 아니라 청나라와 일본에까지 유포되어 그곳 외교관에게도 우리 나라에 관한 지침서가 되었다. 벼슬은 지중추부사(知中樞府事)에 이르렀다. 저서로 『신전자초방(新傳煮硝方)』·『동사록(東槎錄)』이 있고, 편서로는 『통문관지(通文館志)』가 있다.