본관은 광산(光山). 자는 중수(仲受), 호는 직하(稷下) 또는 자연(自然). 시호가 문헌(文憲). 김장생(長生)의 후손이며, 승지 김만균(金萬均)의 증손으로, 할아버지는 강원도관찰사 김진옥(金鎭玉)이고, 아버지는 한성판윤 김원택(金元澤)이며, 어머니는 심정보(沈廷輔)의 딸이다.
1740년(영조 16) 알성 문과에 을과로 주1, 곧 한림(翰林: 예문관검열의 다른 이름)에 천거되어 문장으로 이름이 났다. 1742년에는 사대부의 지기(志氣)를 강조하는 소를 올렸다. 남유용(南有容) · 황경원(黃景源)을 칭찬해 영조로부터 당론으로 비난받기도 하였다.
삼사를 두루 거치고 이조 · 호조 · 예조 · 병조의 참의를 거쳐 1760년에는 예문관제학 · 이조판서에 임명되었고, 호조판서 · 예조판서 · 한성판윤 · 홍문관제학을 지냈다. 1763년 11월에 우의정에 임명되었고, 1772년에 영의정까지 오르는 등 14년간 정승을 주2
홍봉한(洪鳳漢)과 정치적 동지로서 이른바 북당(北黨)에 속해 평소 김구주(金龜柱)를 배척하는 데 철저하였다. 그리고 대체로 붕당을 비난하며 인정하지 않는 영조의 탕평책을 옹호하였다.
1775년 영조로부터 홍인한 · 정후겸(鄭厚謙) 등이 왕세손의 대리청정을 막아 세손을 해치려 한다는 서명선(徐命善)의 소를 평가하라는 지적을 받았다. 평소 당시 권신인 홍인한을 비난하는 쪽이었으나 모호한 답변을 해 정조가 즉위하자 바로 경상도 평해로 정배되었다가 곧 공주로 주3. 이듬해에 귀양이 풀리자 고향인 결성에서 은거하면서 두문불출하였다.
겉으로는 평온하나 안으로 강해 큰 뜻을 가졌으면서도 시세가 계속되지 못했다고 평가받고 있다. 평소 청빈하고 검소한 생활로 유명하며 죽을 때까지 책을 손에서 놓지 않았다고 한다. 홍봉한 · 민백상(閔百祥)과 친교가 깊었다. 1800년(정조 24)에 신원되어 복관(復官)되었다.
『어제수덕전편(御製樹德全編)』을 편찬했고, 저서로 『통색문답(通塞問答)』 , 『직하잡록(稷下雜錄)』, 『직하고(稷下稿)』,「백암당대선사비명(柏庵堂大禪師碑銘)」 등이 전한다.