본관은 청풍(淸風). 자는 공서(公恕), 호는 고정(古亭). 동부승지 김징(金澄)의 증손으로, 할아버지는 우의정 김구(金構)이고, 아버지는 영의정 김재로(金在魯)이며, 어머니는 심징(沈澂)의 딸이다.
1738년(영조 14) 생원시에 합격하고, 1748년(영조 24) 춘당대 문과(春塘臺文科)에 장원해 예문관전적(藝文館典籍)과 정언(正言)을 거쳐 문경어사(聞慶御史)로 나가 문경현감의 탐욕을 다스렸다. 이어 지평(持平)과 문학을 거쳐 1750년에는 호남어사로 활약하였다.
1752년 승지에 오르고, 이어 대사간·비변사부제조(備邊司副提調)·대사성·부제학(副提學)·이조참판·개성유수 등을 지냈다. 1762년 이후 이조·호조·형조의 판서를 지냈으며, 1765년 우의정에 올라 내의원도제조(內醫院都提調)를 겸하였다.
이듬해 좌의정을 거쳐 영의정이 되었다. 그 뒤 판중추부사(判中樞府事)·영중추부사를 거쳐 다시 영의정을 지냈다. 1772년 당파를 조성했다는 죄로 직산현(稷山縣)으로 유배되었으나, 반년 만에 풀려나 영중추부사로 다시 서용되고, 봉조하(奉朝賀)가 되었다.
정조가 즉위하자 판중추부사로 기용되어 고부 겸 승습주청사(告訃兼承襲奏請使)의 정사로서 청나라에 다녀왔다. 그 뒤 다시 영중추부사(領中樞府事)를 거쳐 봉조하가 되어 『명의록(明義錄)』 편찬을 주관하고, 1785년에는 『대전통편(大典通編)』 편찬을 주관하였다. 이듬해 영의정으로 기용되어 정조의 명으로 당쟁의 조정에 힘썼다.
성품이 치밀하고 결단력이 있는 인물로, 나라의 전고(典故)에 정통해 이를 정사에 잘 활용하였다. 편저로 『명의록(明義錄)』·『열성지장통기(列聖誌狀通記)』가 있다. 시호는 헌숙(憲肅)이다.