본관은 안동(安東). 자는 자정(子靜). 호는 지암(止菴) 또는 여호(驪湖). 서울 정동에서 출생했다. 아버지는 참판에 추증된 김신겸(金信謙)이며, 어머니는 전주이씨로 좌의정 이이명(李頤命)의 딸이다. 민우수(閔愚洙)의 문인이다.
벼슬에 뜻을 두지 않고 오직 학문연구에 전념하여 성리학을 비롯해 예학과 역학에도 조예가 깊었다. 성리학에 있어서는 이간(李柬)의 인물동성론(人物同性論)에 동조한 김창흡(金昌翕)의 영향을 받아 낙론을 지지하는 입장을 취했다.
1754년(영조 30)에 세자익위사세마(世子翊衛司洗馬), 이듬 해 부수(副率)에 임명되었으나 부임하지 않았으며, 1758년에는 학행으로 천거되어 사간원정언에 임명되었으나 역시 부임하지 않았다.
그 뒤 시강원자의(侍講院諮議)·사옹원주부·사헌부지평·장령·집의·성균관사업(成均館司業)·호조참의·예조참의·경연관·공조참의에 임용되었으나, 상소하여 사직했다. 그 뒤 직제학을 거쳐 이조참의에 이르렀으며, 정조 때 형조참판을 지냈다.
이우신(李友信)·민치복(閔致福)·박준원(朴準源) 등의 많은 학자들이 문하에서 배출되었다. 이조판서에 추증되었으며, 시호는 문간(文簡)이다. 저서로는 『지암문집(止菴文集)』 9권이 있다.