김응태는 경기도 수원에서 태어나 보흥학교(普興學校) 고등과, 동경 국민중학교 중학과(1916년)에서 공부하였고, 1925년 서울 협성신학교(協成神學校)를 졸업하였다. 그는 1911년부터 1917년까지 수원 삼일학교(三一學校) 및 충청남도 논산의 진광학교(眞光學校)에서 교편을 잡고 교육계에 봉사하였다.
김응태는 1919년 기독교 미감리회 조선연회에 입회하여 1921년에 목사 안수를 받았고, 충청북도 음성교회와 진천교회 등에서 목회하였다. 그 후 만주의 길림교회 · 하얼빈교회 등에서 목회하였고, 다시 귀국한 뒤에는 서울 동대문교회의 담임 주1로 5년 동안 시무하였다.
김응태는 1931년에 일본으로 건너가 동경에서 재일 교포들의 기독교 신앙운동에 힘쓰다가 귀국하여 공주 지방 주2로 있으면서 대전교회를 발전시켰으며, 인천 내리교회, 창영교회에서 주3하기도 하였다. 기독교조선감리교단 경기남교구장(1941년), 일본기독교조선감리교단 전도국장(1943년), 조선기독교단 부통리자(1945년) 등의 요직을 맡아 일제에 협력하였으며, 총리원 이사, 연합공의회 서기, 교단 총대 등을 역임하였다.
김응태는 1955년 3월 호헌파가 별도로 조직한 총회에서 감독으로 추대되어 4년 동안 호헌파의 중심으로 활동하였다. 이후 그는 1959년 은퇴하여 인천에서 여생을 보내며 율목교회를 돕다가 1971년 사망하여 경기도 화성군 장안면 수촌리 선영에 안장되었다.