본관은 청풍(淸風). 자는 이민(而敏, 而民), 호는 만휴암(晩休庵). 할아버지는 김징(金澄)이고, 아버지는 대제학 김유(金楺)이며, 어머니는 송박(宋搏)의 딸이다.
1726년에 진사가 주1 1727년(영조 3) 증광 문과에 병과로 주2 승문원정자(承文院正字)가 되었다. 그 뒤 『숙종실록(肅宗實錄)』 보충의 잘못을 논하다가 유배당하였으나 이듬해에 주3. 1731년 정언(正言)이 되었다.
지평(持平) · 교리(校理) · 수찬(修撰)을 거쳐 1736년 승지, 1740년 개성유수 등을 역임하였다. 또한, 병조참판 · 예조참판을 거쳐 1742년 평안도관찰사가 되었으며, 1744년 공조 · 호조 · 병조의 판서가 되었다.
1746년 우참찬, 이듬해 판의금부사(判義禁府事)를 거쳐 1749년 우의정, 그 뒤 좌의정이 되었다. 1752년 약방도제조(藥房都提調)가 되었는데, 왕세손이 죽자 파직당하였으나 판중추부사(判中樞府事)로 다시 기용되었다. 한때 형 김취로(金取魯), 아우 김상로(金相魯)와 함께 높은 관직에 있으면서 세도를 부리기도 하였다. 시호는 충정(忠正)이다.