본관은 안동(安東). 자는 존보(尊甫), 호는 증소(橧巢). 아버지는 진사 김창업(金昌業)이며, 어머니는 전주이씨(全州李氏)로 익풍군(益豐君) 이속(李涑)의 딸이다. 숙부인 김창흡(金昌翕)을 사사하였다.
1721년(경종 1) 진사시에 합격했으나, 큰아버지인 영의정 김창집(金昌集)이 노론 4대신의 한 사람으로 신임사화에 거제도로 유배될 때 연루되어 함께 유배되었다. 1725년(영조 1)에 풀려나 내시교관(內侍敎官)에 임명되었으나, 취임하지 않고 강원도 영월의 산중에 들어가 산수를 즐기면서 후진 교육에 힘썼다.
김신겸은 당시의 석학인 민우수(閔遇洙)·유숙기(兪肅基)·이봉상(李鳳祥) 등과 더불어 인심도심설(人心道心說)·명덕설(明德說) 등을 강론하였다. 그는 시문에 뛰어나 많은 저술을 남겼는데, 특히 「백육애음(百六哀吟)」이라는 사우(師友)들 106명의 행적을 읊은 대서사시를 남겼다.
그는 전국 각지의 명승고적·명산·바다·도서 등지를 두루 구경하고 사적·풍속·지리·산물 등을 소개한 기행문을 많이 남겼다. 이조판서 겸 좨주(祭酒)에 추증되었으며, 시호는 문경(文敬)이다. 저서로는 『증소집(橧巢集)』 10권 5책이 있다.