본관은 청풍(淸風). 자는 성득(聖得). 할아버지는 관찰사 김징(金澄)이며, 아버지는 우의정 김구(金構)이다.
1702년(숙종 28) 진사시에 합격하였고, 1704년 빙고별검(氷庫別檢)·경력(經歷) 등을 지냈다.
왕의 다병무자(多病無子)함을 들어 왕세제(王世弟: 뒤의 영조)의 대리청정을 주장하다 1721년(경종 1) 신임사화로 형 김재로(金在魯)와 함께 파직당하여 위원(渭原)에 유배당하였다. 그러나 1724년 영조가 즉위하고 노론이 세력을 얻게 되자 공조참판으로 기용되었으며, 이어서 호조참판·동지중추부사 등을 역임하였다.