김응진은 서울 출신으로 1932년 도쿄미술학교[東京美術學校]를 졸업하였다. 일본 유학 이전인 1927년부터 조선미술전람회에 여러 차례 입선하였고, 1930~1931년에는 서화협회전람회 서양화부에도 작품을 출품하였다.
김응진은 1928년 창광회(蒼光會)가 결성될 때 도쿄지부 간사를 맡았고, 이후 1930년 김용준, 이종우, 박득순, 도상봉, 이마동 등 도쿄미술학교 동문들이 모인 동미회(東美會)를 비롯하여, 백만양화회(白蠻洋畵會), 목일회(牧日會) 등의 친목단체 결성에 참여하면서 작품을 발표하였다. 1958년에는 사실주의적 계열의 작가들이 모인 목우회(木友會)에 가담하였다.
1946년부터 양정고등학교 교사로 재직하는 한편, 대한민국미술전람회(약칭 국전)를 중심으로 작품 활동을 전개하였다. 1958년 국전에서 「맨드라미」로 입선한 것을 비롯하여 1968년까지 입선과 특선을 거듭하였다. 1969년에는 국전 추천작가로 선정되었고, 1975년과 1976년에는 국전 심사위원을 지냈다.
1971년 미도파 화랑의 ‘서양화 사실화가 초대 11인전’, 1976년 한국문화예술진흥원 미술회관의 ‘현역원로작가 초대전’ 등의 전시회에 초대되었다. 김응진은 주로 자연을 주제로 한 사실주의적인 작품을 선보였는데, 대표작으로는 「군자란(君子蘭)」, 「향원정(香遠亭)」, 「비원(秘苑)」 등이 있다.