본관은 안동(安東). 자는 존보(尊甫), 호는 증소(橧巢). 아버지는 진사 김창업(金昌業)이며, 어머니는 전주이씨(全州李氏)로 익풍군(益豐君) 이속(李涑)의 딸이다. 숙부인 김창흡(金昌翕)을 사사하였다.
1721년(경종 1) 진사시에 주1, 큰아버지인 영의정 김창집(金昌集)이 노론 4대신의 한 사람으로 신임사화에 거제도로 유배될 때 연루되어 함께 유배되었다. 1725년(영조 1)에 풀려나 내시교관(內侍敎官)에 임명되었으나, 취임하지 않고 강원도 영월의 산중에 들어가 산수를 즐기면서 후진 교육에 힘썼다.
김신겸은 당시의 석학인 민우수(閔遇洙) · 유숙기(兪肅基) · 이봉상(李鳳祥) 등과 더불어 인심도심설(人心道心說) · 명덕설(明德說) 등을 강론하였다. 그는 시문에 뛰어나 많은 저술을 남겼는데, 특히 「백육애음(百六哀吟)」이라는 사우(師友)들 106명의 행적을 읊은 대서사시를 남겼다.
그는 전국 각지의 명승고적 · 명산 · 바다 · 도서 등지를 두루 구경하고 사적 · 풍속 · 지리 · 산물 등을 소개한 기행문을 많이 남겼다. 이조판서 겸 좨주(祭酒)에 추증되었으며, 시호는 문경(文敬)이다. 저서로는 『증소집(橧巢集)』 10권 5책이 주2