본관은 청주(淸州)이고, 자는 덕익(德翼), 호는 옥애(玉厓)이다. 1675년(숙종 1) 아버지 김기만(金紀萬, 1620~1690)과 노몽량(盧夢良)의 딸인 교하 노씨(交河 盧氏) 사이에서 6형제 중 막내로 태어났다. 형제는 김진명(金振溟), 김진렴(金振濂), 김진홍(金振泓), 김진유(金振濰), 김진연(金振淵)이다. 곡산 강씨(曲山 康氏) 강사웅(康士雄)의 딸과 혼인하여 슬하에 두 아들을 두었다.
평양성 외성에서 유년 시절을 보내다가 혼인한 다음 안주목에 속한 순천으로 이주한 것으로 추정된다.
1654년(효종 5) 사마시에 응시했으나 실패하고 자연과 더불어 시를 지으며 생활했다. 아버지 김기만에게 문학과 예술의 재능을 물려받았고, 평양 지역 화사인 조세걸(曺世傑)에게 그림을 배웠다. 1700년(숙종 26) 25세에 원나라 왕진붕(王振鵬)의 『성적도(聖蹟圖)』를, 1708년(숙종 34) 33세에 「곤여만국전도(坤輿萬國全圖)」를 모사했다. 1713년(숙종 39)에는 어진도감(御眞都監) 제조를 맡은 김진규(金鎭圭)와 민진원(閔鎭遠)의 추천으로 숙종 어진의 도사(圖寫)에 장태흥(張泰興), 장득만(張得萬)과 함께 참여하였다. 그는 이때의 공으로 종5품 동반직을 제수받았다.
1719년(숙종 45) 송시열(宋時烈)의 제자인 권상하(權尙夏)의 79세 초상을 제작했다. 1719년(숙종 45) 숙종의 입기로소 관련 기록물인 『기사계첩(耆社契帖)』 제작에 참여했다. 『기사계첩』에는 김진여를 포함한 장태흥, 박동보(朴東普), 장득만, 허숙(許俶)이 그린 행사도와 기로신의 초상이 실려 있다.
김진여는 산수화, 화조화, 인물화 등 여러 화목에 고루 능하였다. 그중 초상화에서 안면 요철과 피부 질감으로 입체감을 살리며 이전 시기와 달라진 표현법을 선보인 점은 특히 주목된다.