본관은 안동(安東). 초명은 김제악(金齊岳). 자는 강백(剛伯), 호는 간옹(澗翁). 김상용(金尙容)의 5대손이며, 할아버지는 관찰사 김시걸(金時傑)이며, 아버지는 병마절제도위(兵馬節制都尉) 김영행(金令行)이다. 아들이 대사헌 김응순(金應淳)이다.
성균관을 마치고 1721년(경종 1) 사마시에 합격하여 생원이 되고, 이어 참봉에 기용된 뒤 여러 고을의 수령을 역임하였다. 청도군수로 재직 중 치적이 출중하여 당상관에 오르고 청주목사로 승진하였다.
그곳에서도 환곡의 관리를 잘하여 흉년에 유리걸식자가 나타나지 않도록 진휼에 힘써 선치수령(善治守令)으로 뽑혔다. 성질이 곧고 기개와 의리가 남달리 뛰어나 조태채(趙泰采) 등 덕망 높은 이들의 사랑을 받았다. 뒤에 이조참판에 추증되었다.