본관은 광산(光山). 자는 여화(汝和), 호는 기기재(棄棄齋) 또는 묵계(默溪). 충청도 연산(連山) 안천리(顔川里) 출생. 아버지는 김하겸(金夏兼)이며, 어머니는 전의이씨(全義李氏)로 진사 이중과(李仲科)의 딸이다. 큰아버지인 김용겸(金用兼)에게 입양되었다.
어려서 할아버지로부터 가학(家學)을 이어 받았으며, 양가(兩家)에 대한 효심이 남달리 지극하였다. 1716년(숙종 42) 아버지의 상을 당한 뒤로 과거공부를 포기하고, 오로지 성리학과 예학을 궁구하며 의리의 실천에 전심하였다.
만년에 휴정서원(休亭書院)과 충곡서원(忠谷書院)의 장(長)이 되어 백록동(白鹿洞)의 강규(講規)로 훈도하여 향리의 풍습을 새롭게 진작시켰다. 1768년(영조 44) 장수자에게 내리는 80세 수직(壽職: 매년 정월에 80세 이상인 관원과 90세 이상인 서민(庶民)에게 주던 명예직)으로 첨지중추부사, 1774년에 가선대부(嘉善大夫) 및 중추부동지사에 제수되었다. 뒤에 휴정서원 별사에 봉안되었다. 저서로는 『기기재집(棄棄齋集)』이 있다.