1741년(영조 17) 생원이 되었으며, 1743년 주3 문과에 주4로 급제하여 주5 주6가 되었다. 1746년 주7, 이어 주8이 되었으나 좌의정 정석오(鄭錫五)를 논박하다가 당습(黨習)이라는 영조의 비판을 받고로 산음현감으로 좌천되었으나 얼마 지나지 않아 주9이 되었다.
1751년 주10의 공로로 주11에 주12되어 승정원 좌승지가 되고, 이어 영변부사로 나아갔다가 1753년 돌아와 대사간이 되었다. 승지, 대사성을 거쳐서 외직으로 황해도관찰사, 충청도관찰사로 부임하였고, 1757년에 부제학으로 주13가 되어 정조의 원손사부(元孫師傅)가 되었다. 1762년 이조판서가 되고 이어 우참찬, 우의정, 좌의정을 거쳐 1776년에는 영의정이 되었고, 주14가 되었다가 사망하였다.
3남 1녀의 막내아들인 김하재(金夏材)가 문과 장원 출신이었지만 정조를 비판하였다가 대역부도죄(大逆不道罪)로 처형되었고, 그의 관직도 주15되었는데 뒤에 다시 주16되었다.
할아버지와 아버지에 이어 3대가 대제학(大提學)을 역임하여 당대에 유명하였다. 할아버지인 김만기 때부터 박학풍에 기반한 시풍과 문풍을 띠어 이를 계승하였다. 지은 책으로는 『건암집(健庵集)』이 있다.
시호는 문간(文簡)이며, 묘소는 경기도 안산시 상록구 사사동에 있다