본관은 우봉(牛峰). 자는 수겸(守謙), 호는 소암(蘇巖). 아버지는 김지남(金指南)이다.
숙종대에 18세에 역과에 한학(漢學)으로 장원 급제한 후 영조대까지 역관으로 크게 활약하였다. 1711년(숙종 37) 위원(渭原) 백성이 청나라로 월경(越境)하는 사건이 발생하자 재자관(賫咨官)으로 차출되어 양국의 외교 문제를 조율하였고, 임무 수행 중에 청의 군제(軍制)와 정치 상황 등을 자세히 적어서 보고하였다.
특히 1712년(숙종 38) 강희제(康熙帝)가 목극등(穆克登)을 파견하여 국경선을 확정하려 하자, 특별히 부친 김지남과 함께 접반사(接伴使)로 임명되었다. 그는 목극등 일행이 백두산정계비를 세울 때 통역과 응대를 담당하였으며, 조정으로 돌아와서는 백두산 국경지대의 지도를 바쳐서 공로를 치하받았다.
뇌물을 많이 받아 탄핵되기도 하였으나, 1720년(경종 즉위년)에 무기 재료인 궁각(弓角)의 무역, 1722년(경종 2)에 연행사(燕行使)를 보좌하는 상인인 난두(欄頭)의 폐해 일소, 1724년(영조 즉위년) 조공품의 감축, 1725년(영조 1)에 국경 문제의 추론, 1727년(영조 3년)에 조선 상인이 청 호상(豪商)에게 진 채무 문제 해결 등 여러 외교 문제를 해결한 공로로 통정대부(通政大夫), 가의대부(嘉義大夫)를 거쳐 자헌대부(資憲大夫)에 승진하고 지중추부사(知中樞府事)를 받게 되었다.
1708년(숙종 34) 아버지를 비롯하여 역관들과 함께 수년간 쌓은 외교적 경험을 바탕으로 『통문관지(通門館志)』를 편찬하였다. 이는 사대(事大)와 교린(交隣)에 대한 연혁‧역사‧제도‧인물 등을 체계화한 것으로, 당시 외교에 종사하던 실무진의 편람(便覽) 및 백과사전적 구실을 하는 필수서가 되었다. 이외에 『불감록(不堪錄)』 6권과 『소암집(蘇岩集)』 일부를 남겼다고 하나, 전하지 않는다.