본관은 광산(光山). 자는 중수(仲受), 호는 직하(稷下) 또는 자연(自然). 시호가 문헌(文憲). 김장생(長生)의 후손이며, 승지 김만균(金萬均)의 증손으로, 할아버지는 강원도관찰사 김진옥(金鎭玉)이고, 아버지는 한성판윤 김원택(金元澤)이며, 어머니는 심정보(沈廷輔)의 딸이다.
1740년(영조 16) 알성 문과에 을과로 급제했고, 곧 한림(翰林: 예문관검열의 다른 이름)에 천거되어 문장으로 이름이 났다. 1742년에는 사대부의 지기(志氣)를 강조하는 소를 올렸다. 남유용(南有容)·황경원(黃景源)을 칭찬해 영조로부터 당론으로 비난받기도 하였다.
삼사를 두루 거치고 이조·호조·예조·병조의 참의를 거쳐 1760년에는 예문관제학·이조판서에 임명되었고, 호조판서·예조판서·한성판윤·홍문관제학을 지냈다. 1763년 11월에 우의정에 임명되었고, 1772년에 영의정까지 오르는 등 14년간 정승을 지냈다.
홍봉한(洪鳳漢)과 정치적 동지로서 이른바 북당(北黨)에 속해 평소 김구주(金龜柱)를 배척하는 데 철저하였다. 그리고 대체로 붕당을 비난하며 인정하지 않는 영조의 탕평책을 옹호하였다.
1775년 영조로부터 홍인한·정후겸(鄭厚謙) 등이 왕세손의 대리청정을 막아 세손을 해치려 한다는 서명선(徐命善)의 소를 평가하라는 지적을 받았다. 평소 당시 권신인 홍인한을 비난하는 쪽이었으나 모호한 답변을 해 정조가 즉위하자 바로 경상도 평해로 정배되었다가 곧 공주로 이배되었다. 이듬해에 귀양이 풀리자 고향인 결성에서 은거하면서 두문불출하였다.
겉으로는 평온하나 안으로 강해 큰 뜻을 가졌으면서도 시세가 계속되지 못했다고 평가받고 있다. 평소 청빈하고 검소한 생활로 유명하며 죽을 때까지 책을 손에서 놓지 않았다고 한다. 홍봉한·민백상(閔百祥)과 친교가 깊었다. 1800년(정조 24)에 신원되어 복관(復官)되었다.
『어제수덕전편(御製樹德全編)』을 편찬했고, 저서로 『통색문답(通塞問答)』 , 『직하잡록(稷下雜錄)』, 『직하고(稷下稿)』,「백암당대선사비명(柏庵堂大禪師碑銘)」 등이 전한다.