본관은 안동(安東). 자는 대유(大有), 호는 가재(稼齋) 또는 노가재(老稼齋). 17세기에 활약한 노론의 정치가이며 유학자인 김수항(金壽恒)의 넷째 아들이다.
어려서부터 김창협(金昌協), 김창흡(金昌翕) 등 형들과 함께 학문을 익혔다. 특히 시에 뛰어나 후에 김만중(金萬重)으로부터 칭찬을 받았다. 1681년 진사시에 합격했으나, 벼슬길에 나아가지 않고 한양의 동교송계(東郊松溪 : 지금의 성북구 장위동)에 은거하였다. 1689년에 기사사화가 일어나자 포천에 있는 영평산(永平山) 속에 들어가 숨어살다가 1694년 정국이 노론파에 유리하게 되자 다시 송계로 나왔다. 이 때 나라에서 내시교관(內侍敎官)이라는 벼슬자리를 주려고 하였다. 그러나 응하지 않았고 스스로 노가재라 부르며 세상일을 멀리하였다. 그리고 향리에 사창(社倉)을 설치하고 거문고와 시 짓기를 즐기면서 사냥으로 낙을 삼았다.
중국 산천을 보지 못한 것을 늘 아쉽게 여기다가 1712년 연행정사(燕行正使)인 김창집(金昌集)을 따라 북경(北京)에 다녀왔다. 이 때 보고 들은 것을 모아 『노가재연행록稼齋燕行錄)』을 펴내었다. 이 책은 중국의 산천과 풍속, 문물제도와 이때 만난 중국의 유생, 도류(道流 : 도교를 믿고 그 도를 닦는 사람)들과의 대화를 상세히 기록하여 역대 연행록 중에서 가장 뛰어난 책으로 손꼽힌다.
어려서부터 그림에 재주가 있어 젊어서도 그림 그리기를 즐겼으므로 아버지로부터 그림에 마음을 빼앗겨 학업에 방해가 될까 걱정이니 손을 떼라는 충고를 받았다.
현존하는 그의 그림 「추강만박도(秋江晩泊圖)」(간송미술관 소장)나 그가 밑그림을 그린 제천 황강영당 구장의 「우암송선생칠십사세진」같은 작품으로 보아 그림 솜씨가 상당한 수준이었던 것을 알 수 있다. 그의 그림에 대한 취향은 서자인 김윤겸(金允謙)에게 이어져 조선 후기에 유행한 실경산수화(實景山水畵)에 크게 영향을 미쳤다.