본관은 청풍(淸風). 자는 이민(而敏, 而民), 호는 만휴암(晩休庵). 할아버지는 김징(金澄)이고, 아버지는 대제학 김유(金楺)이며, 어머니는 송박(宋搏)의 딸이다.
1727년(영조 3) 증광 문과에 병과로 급제하여 승문원정자(承文院正字)가 되었고, 그 뒤 『숙종실록(肅宗實錄)』 보충의 잘못을 논하다가 유배당하였으나 이듬해에 석방되었다. 1731년 정언(正言)이 되었다.
지평(持平)·교리(校理)·수찬(修撰)을 거쳐 1736년 승지, 1740년 개성유수 등을 역임하였다. 또한, 병조참판·예조참판을 거쳐 1742년 평안도관찰사가 되었으며, 1744년 공조·호조·병조의 판서가 되었다.
1746년 우참찬, 이듬해 판의금부사(判義禁府事)를 거쳐 1749년 우의정, 그 뒤 좌의정이 되었다. 1752년 약방도제조(藥房都提調)가 되었는데, 왕세손이 죽자 파직당하였으나 판중추부사(判中樞府事)로 다시 기용되었다. 한때 형 김취로(金取魯), 아우 김상로(金相魯)와 함께 높은 관직에 있으면서 세도를 부리기도 하였다. 시호는 충정(忠正)이다.