본관은 우봉(牛峰). 자는 수겸(守謙), 호는 소암(蘇巖). 아버지는 김지남(金指南)이다.
숙종대에 18세에 역과에 한학(漢學)으로 장원 급제한 후 영조대까지 역관으로 크게 활약하였다. 1711년(숙종 37) 주1 백성이 청나라로 월경(越境)하는 사건이 발생하자 주2으로 차출되어 양국의 외교 문제를 조율하였고, 임무 수행 중에 청의 군제(軍制)와 정치 상황 등을 자세히 적어서 보고하였다.
특히 1712년(숙종 38) 주3가 목극등(穆克登)을 파견하여 국경선을 확정하려 하자, 특별히 부친 김지남과 함께 주4로 임명되었다. 그는 목극등 일행이 백두산정계비를 세울 때 통역과 응대를 담당하였으며, 조정으로 돌아와서는 백두산 국경지대의 지도를 바쳐서 공로를 치하받았다.
뇌물을 많이 받아 탄핵되기도 하였으나, 1720년(경종 즉위년)에 무기 재료인 궁각(弓角)의 무역, 1722년(경종 2)에 주5를 보좌하는 상인인 주6의 폐해 주7, 1724년(영조 즉위년) 조공품의 감축, 1725년(영조 1)에 국경 문제의 추론, 1727년(영조 3년)에 조선 상인이 청 주8에게 진 채무 문제 해결 등 여러 외교 문제를 해결한 공로로 주9, 주10를 거쳐 주11에 승진하고 주12를 받게 되었다.
1708년(숙종 34) 아버지를 비롯하여 역관들과 함께 수년간 쌓은 외교적 경험을 바탕으로 『통문관지(通門館志)』를 편찬하였다. 이는 사대(事大)와 교린(交隣)에 대한 연혁‧역사‧제도‧인물 등을 체계화한 것으로, 당시 외교에 종사하던 실무진의 편람(便覽) 및 백과사전적 구실을 하는 필수서가 되었다. 이외에 『불감록(不堪錄)』 6권과 『소암집(蘇岩集)』 일부를 남겼다고 하나, 전하지 않는다.