1925년 평안남도 평원에서 출생했다. 보통학교 학력으로 1960년 외무성 부상, 1962년 무역성 부상, 1967년 무역상에 올랐으며, 1980년 10월 제6차 당대회 때 권력의 핵심인 당 중앙위원회 정치국 위원에 선임되었다. 1985년 11월 당 중앙위원회 공안담당 비서에 보임되어, 2000년 중반까지 현직을 지키다가 2006년 11월 폐암으로 사망했다.
1925년 2월 25일 평안남도 평원 태생인 계응태는 보통학교 출신의 노동자로 권력의 핵심부까지 진입한 인물이다. 일각에서는 그가 만주 용정에 있는 대성중학교를 졸업하고, 만주 평톈대학을 중퇴한 후 1930년대 후반 김일성과 인연을 맺었고, 해방 이후에는 소련 고급당학교에서 유학했다는 설도 있다. 또한 그의 부친이 김일성과 항일 투쟁을 했다는 설도 있으나 이는 모두 사실과 거리가 있다.
1957년 5월 당 중앙위원회 국제부 부부장, 1960년 2월 외무성 부상, 1962년 2월 무역성 부상, 1967년 4월 국제무역촉진위 위원장, 10월 무역상에 임명되었다. 1970년 11월 당 중앙위원회 위원에 선임, 1972년 12월 무역부장, 1977년 1월 부총리 겸 무역부장에 임명되었었다. 1980년 10월 제6차 당대회 때 권력의 핵심인 당중앙위원회 정치국 위원으로 도약, 1985년 11월에는 국가안전보위부, 인민보안성, 검찰·사법기관 등을 관리·통제하는 당 중앙위원회 공안담당 비서에 보임되어 2000년 중반까지 현직을 지켰다.
1990년대 후반 국가 주요 행사에 잇달아 불참하면서 신병설·은퇴설 등 구구한 억측을 낳기도 했으나, 12월 24일 김정일 위원장의 인민군 공훈합창단 공연 관람에 배석해 저간의 억측들을 일축했다.
계응태는 무역 부문의 외교를 전담했다. 1960년 11월부터 1962년 1월까지 무역대표 단장으로 월남민주동맹·버마·불가리아·루마니아 등을 순방, 1963년 10월에는 중동·아프리카 국가들과 무역협정을 체결하고 외교관계를 수립하는데 앞장섰다. 1967년 10월에는 무역상으로 취임해 무역업무의 책임자가 되었고, 1977년 1월 부총리 겸 무역부장으로 승진했다.
1987년 12월 당·정의 대표단장으로 폴란드, 체코, 동독 등을 방문했고, 1992년 4월 최고인민회의 법제위원회 위원장 겸 조선·칠레 친선협의회 위원장을 맡았으며, 1992년 5월에는 당 대표단장으로 인도 공산당 제15차 전당대회에 참석했다. 1990년대 후반부터 2000년대에 들어서는 주로 내부적인 활동을 했다.
계응태는 칠레 대십자훈장, 김일성 훈장을 수여받았다.