본관은 광산(光山). 자는 이현(而顯). 김천희(金天禧)의 증손으로, 할아버지는 김진해(金振海)이고, 아버지는 김시성(金是城)이며, 어머니는 김남로(金南老)의 딸이다.
어렸을 때부터 뜻이 원대하고 기개가 커 남에게 구속받지 않는 기풍이 있었다. 1684년(숙종 10) 진사가 되었고 1695년 황감별제(黃柑別製)에 장원하여 특별히 주택을 하사받았다.
그 해 별시 문과에 병과로 급제, 성균관에 배속되었다. 뒤에 전적(典籍)으로 승진되었으며, 벼슬이 봉상시정(奉常寺正)에까지 이르렀다. 당시 정치적인 대사건이 빈번하자 세상의 즐거움을 잃고 호서(湖西)의 연산(連山)으로 거처를 옮겼다. 한때 조정에서는 천거하여 대각(臺閣)에 취임시키려 하였으나, 당쟁으로 모함을 받게 되자 당시 사론(士論)이 매우 탄식하고 애석하게 여겼다.