1906년 5월 6일 평안북도 의주군 고관면에서 출생하였다. 부호였던 김기평(金基平)의 넷째 아들이다. 양시보통학교 시절 주일학교에 출석하여 15세 때 세례를 받았다. 19세 때에 용천 덕흥교회 집사가 되었고, 신의주로 이사해 옥상회(玉商會)라는 포목상을 경영하면서 제일교회에서 12년 동안 집사로 활동했다. 일신학교 설립이사로 가난한 학생들의 학비를 부담하였다.
이후 서울로 이사해 여관업과 포목상을 겸업하면서, 고아원과 양로원을 설립하여 경영하였다. 1939년 잡화상을 경영할 때 시국 관계 범죄 혐의로 일제의 조사를 받았다. 1944년 안동교회 장로로 장립되었다.
1945년 9월 한국민주당 발기인으로 참여하였다. 1946년 조선기독교남부대회 기관지로 창간되었지만 운영난에 빠져 있던 『기독공보』를 인수하여 기독교 문서선교에 공헌하였다. 이는 당시 영락교회 한경직 목사와 안동교회 최거덕 목사의 요청 때문이었고, 김응락은 자신의 전 재산을 투자해 『기독공보』의 재건에 앞장섰다.
1945년 12월 월남한 피난민들이 ‘베다니전도교회’라는 이름으로 교회를 설립할 때 교회당 건축위원이 되었고, 한경직 목사를 교역자로 청빙했는데, 이 교회가 지금의 영락교회이다.
1950년 6월 4일 350평의 석조 예배당을 건축하였는데, 얼마 지나지 않아 한국전쟁이 일어나 교회는 공산군의 무기 창고와 연락사무소로 사용되었다. 김응락은 1950년 9월 21일 교회에 들렀다가 공산군에 체포되어 중부서에서 고문을 당했다. 유엔군의 서울 수복 직전 공산군의 후퇴 길에 같은 교회 교인 김만이 끌려갔는데. 김응락은 김만을 탈출시키고 자신은 총살당했다. 1960년 8월 8일 영락교회는 그의 순교적 행동을 기려 교회 마당에 '김응락장로 순교기념비'를 세웠다.