본관은 연안(延安). 자는 여시(汝時). 김규(金珪)의 증손으로, 할아버지는 지평(持平) 김홍석(金弘錫)이고, 아버지는 우윤(右尹) 김횡(金澋)이며, 어머니는 통덕랑(通德郎) 홍처구(洪處久)의 딸이다.
1695년(숙종 21) 별시 문과에 병과로 급제하여 승문원정자(承文院正字)가 되었다.
그 뒤 성균관박사·봉상시직장(奉常寺直長)·전적(典籍)·병조좌랑을 거쳐, 1698년 정언(正言)·지평을 역임하였다. 이어서 헌납(獻納)·장령(掌令)·사간·집의(執義) 등의 언관과 사서(司書)·문학(文學)·필선(弼善)·보덕(輔德) 및 병조정랑·사예(司藝) 등을 두루 역임하였으며, 또한 암행어사가 되어 경상도의 각 고을을 심문하기도 하였다.
1705년에 좌부승지가 된 이후 승지에 여러 차례 다시 임용되었고, 각 조의 참의를 두루 역임하였으며, 1713년에는 동지부사로 청나라에 다녀왔다. 그 뒤 1717년에 강원도관찰사가 되었고, 이듬해에는 함경도관찰사 등을 거쳐 좌윤이 되었으며, 이어서 형조참판·도승지 등을 역임하였다.