1896년 경상북도 영덕에서 출생하여 한학을 공부하다가 한일병합을 앞두고 애국지사 최봉희가 “기독교수용이 곧 구국의 길”이라고 하는 말을 듣고 기독교신자가 되었다. 그 후 세례를 받고, 대구에 있는 기독교 학교인 계성학교에 입학하여 1915년에 졸업하였다. 1917년 한국에 성결교회를 세운 선교단체인 동양선교회가 운영하는 성서학원(현 서울신학대학교)에 입학하였다. 입학 직후 동양선교회가 일본에서 진행하고 있던 대거 전도운동에 참여하여 1년 동안 일본에서 활동했고, 1918년 봄 귀국하여 공부하다가 1919년 3·1운동에 가담하였다. 이 사건으로 약 1년 반 동안 옥고를 치렀다.
1920년 10월 성서학원을 졸업하고, 성결교회 교역자로 목회를 시작하여, 철원, 광주, 안성, 서울 아현 등지에서 전도사로 사역하다가 1926년 목사 안수를 받았다. 그 후 감리교 목사로 임명되어 함경도 지역, 전라·충청 지역, 서울·중부 지역을 책임지고, 여러 곳에 교회를 개척하여 성결교회의 발전에 기여하였다. 1938년 신사참배를 피하기 위하여 성결교회를 사임하고, 독립적으로 부흥운동을 인도하였다.
개인적인 영적 체험 이후 그는 이후 평범한 목회자에서 전국적인 부흥사가 되었다. 해방 후 김응조는 교파를 초월하여 전국적으로 부흥집회를 인도하다가 모교인 서울신학교로부터 교수 초빙을 받고, 성결교회로 복귀하여 활동하였다. 1956년 성결교회의 총회장이 되었지만 당시 성결교회는 신앙의 노선을 둘러싸고 갈등이 있었다. 이명직을 중심으로 하는 원로그룹은 복음전도를 사명으로 하는 성결교회의 본래적인 목적에 충실하자고 주장했고, 동양선교회의 젊은 선교사들은 구제 사업을 강조하였다. 이런 갈등은 한국기독교협의회(KNCC) 가입 문제와 얽혀 더욱 복잡해졌다. 김응조는 이명직과 함께 1961년 한국기독교협의회 가입에 반대하며, 예수교대한성결교회(예성)를 창설하는데 결정적인 역할을 하였다.
김응조는 예성의 창설자라고 불리고 있다. 초기에는 이명직, 이성봉, 김응조 세 사람의 원로가 함께 예성을 창설했지만 끝까지 남아 이 교단을 지킨 것은 김응조였다. 또한 그는 예성의 신학교육기관인 성결교신학교(현 성결대학교)를 설립하여 초대 교장으로 오랫동안 활약하였다. 예성과 성결대학교는 현재 한국에서 보수·복음주의적인 입장을 견지하는 대표적인 교단이며, 신학교육기관이다.
김응조는 성결교회 목사로서 활동했지만 초교파적인 부흥사로서 오랫동안 활동했다. 그는 전국에 400여 교회를 순회하며 부흥회를 인도하였다. 부흥회에서 그의 주제는 종말론 강해였으며, 성서에 비추어서 인류의 운명을 설명하는 것이었다. 또한 저술활동을 통해 『성서 대강해』12권을 출판하였다.
1977년 12월 13일 독립유공자 대통령 표창을 받았고, 1987년 12월 5일 교육공로자 대한민국 국민포장을 수여받았다.