1741년(영조 17) 생원이 되었으며, 1743년 알성 문과에 병과로 급제하여 세자시강원 겸설서가 되었다. 1746년 문학(文學), 이어 부수찬이 되었으나 좌의정 정석오(鄭錫五)를 논박하다가 당습(黨習)이라는 영조의 비판을 받고로 산음현감으로 좌천되었으나 얼마 지나지 않아 수찬이 되었다.
1751년 존숭도감(尊崇都監)의 공로로 통정대부(通政大夫)에 가자(加資)되어 승정원 좌승지가 되고, 이어 영변부사로 나아갔다가 1753년 돌아와 대사간이 되었다. 승지, 대사성을 거쳐서 외직으로 황해도관찰사, 충청도관찰사로 부임하였고, 1757년에 부제학으로 가선대부(嘉善大夫)가 되어 정조의 원손사부(元孫師傅)가 되었다. 1762년 이조판서가 되고 이어 우참찬, 우의정, 좌의정을 거쳐 1776년에는 영의정이 되었고, 영돈령부사(領敦寧府事)가 되었다가 사망하였다.
3남 1녀의 막내아들인 김하재(金夏材)가 문과 장원 출신이었지만 정조를 비판하였다가 대역부도죄(大逆不道罪)로 처형되었고, 그의 관직도 추탈되었는데 뒤에 다시 복관되었다.
할아버지와 아버지에 이어 3대가 대제학(大提學)을 역임하여 당대에 유명하였다. 할아버지인 김만기 때부터 박학풍에 기반한 시풍과 문풍을 띠어 이를 계승하였다. 지은 책으로는 『건암집(健庵集)』이 있다.
시호는 문간(文簡)이며, 묘소는 경기도 안산시 상록구 사사동에 있다