본관은 안산(安山). 자는 여일(汝一), 호는 노포(老圃). 아버지는 광릉참봉 김시성(金始聲)이다.
1699년(숙종 25) 생원시에 합격한 뒤, 1702년 휘릉참봉·장원서봉사 및 직장(直長), 선공감직장·평시서봉사(平市署奉事)·종부시주부(宗簿寺主簿)·사헌부감찰 등을 거쳐, 지례현감·의금부도사·사직서영·형조정랑·성현찰방(省峴察訪)을 역임하였다.
평소에 노론일파로 지목되어 오다가 신임사화로 노론사대신이 제거당한 뒤 토역별시(討逆別試)를 가질 때, 같은 동리의 사람인 장문위(張文煒)의 응시를 극력 만류하여, 1724년(경종 4) 사간원에서 처벌을 주장하자 순창으로 도피하였다.
1728년(영조 4) 이인좌(李麟佐)의 난 때는 당시 경상도관찰사 황선(黃璿)과 함께 토벌에 나섰다가 황선이 갑자기 죽자 후임 관찰사와 뜻이 맞지 않아 귀향하고 말았다. 그 뒤 사람들의 방문과 서신을 일체 사절하고 은둔하였다.