1887년 경상북도 영주에서 출생했다. 1910년 달성일어학교를 졸업하고, 영천군 주사를 거쳐 경상북도관찰도 서무과 주사에 임명되었다. 1921년 군수로 승진해 예천군수를 거쳐 칠곡군수를 지내던 중 조선총독부에서 군수들로 조직한 ‘내지사찰단 ’의 일원으로 일본의 주요 시설을 시찰하고 귀국했다. 1930년 상주군수로 옮겨 근무하다가 초대 개성부윤에 임명되었다. 1933년 만주로 건너가 천임관 4등의 사무관에 임명되어 만주국 지린성공서 행정과장으로 근무했으며, 1934년 젠다오성공서 민정청 청장으로 승진했다.
1938년 평남 참여관으로 산업부 사무관을 겸임해 산업부장으로 근무하면서 전시통제경제정책의 입안과 집행을 주도했다. 1939년 고등관 2등으로 승진해 황해도지사에 임명되었으며, 재직 중 전시체제하에서 각종 관변기구와 민간단체의 조선인을 통제하기 위해 조직한 국민정신총동원조선연맹의 참여와 황해도연맹 회장을 겸임했다. 1942년 전라북도지사로 옮겼으며, 1943년 도지사직에서 사직한 후 조선석탄주식회사 이사에 취임했으나, 12월 13일 사망했다.
김병태의 이상과 같은 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」 제2조 제17·19호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』 Ⅳ-2: 친일반민족행위자 결정이유서(pp.647∼676)에 관련 행적이 상세하게 채록되었다.