본관은 청풍(淸風). 자는 경일(景一), 호는 하계(霞溪) 또는 만하(晩霞). 공조정랑 김극형(金克亨)의 증손으로, 할아버지는 전라도관찰사 김징(金澄)이고, 아버지는 대제학 김유(金楺)이며, 어머니는 송박(宋搏)의 딸이다. 좌의정을 지낸 김약로(金若魯)의 아우이다.
1721년(경종 1)에 진사가 되고 1734년(영조 10) 정시 문과에 병과로 급제해 검열이 되었다. 곧 지평(持平)이 되고 한림(翰林) 출신이라는 이유로 6품직에 승진하였다. 응교(應敎)를 거쳐 이듬해 정언(正言)·교리(校理)를 역임했으며, 1737년 경기도 양정어사(良丁御史)로 나갔다가 돌아와 부교리가 되었다.
이어 헌납(獻納)·이조좌랑을 거쳐 1740년 도청부사과(都廳副司果)가 되어 가자(加資)되고, 대사간과 승지를 역임하였다. 1742년 강원도감사로 나가 기근에 허덕이는 백성들을 구제할 것을 상소했고, 이듬해 대사성·부제학이 되었다.
1744년 승지로서 무과에 폐단이 많음을 지적하고 엄격하게 시행하도록 건의하였다. 같은 해 경상도관찰사가 되어 도내의 사태(沙汰)로 인해 죽음을 당한 사람들을 구휼할 것을 상소해 허락받았다. 1745년 한성우윤·대사헌·도승지·병조판서를 역임하고, 이듬해 예조참판이 되었다.
1748년 공조판서가 되고, 이듬해 탕평책에 찬성하였다. 1750년에 겸지경연 우빈객(右賓客), 1752년에 우의정이 되었다가 이듬해 파직되었다. 1754년 좌의정에 오르고 1759년 영의정이 되었으며, 말과 행동이 맞지 않은 사헌부 관리들은 교체시키도록 건의하였다.
이듬해 개성유수 남태제(南泰齊)가 재주와 견식이 있고 마음가짐이 공평함을 알고 승격시킬 것을 천거하였다. 1762년 사도세자의 처벌에 적극 참여해 영조의 동조를 얻었으나 왕이 이를 후회하자 청주로 귀양갔으며 특명으로 풀려난 뒤 봉조하가 되었다. 죽은 뒤에 정조가 즉위하자 관작이 삭탈되었으나 고종 때 다시 신원되었다. 시호는 익헌(翼獻)이다.