평안북도 운산 출생. 호는 천태산인(天台山人). 1926년 공립이리농림학교를 졸업하고, 그 해 실업계 학생으로는 최초로 경성제국대학 예과에 입학하여 1928년에 졸업하고, 1931년 3월 경성제국대학 법문학부 문과를 졸업하였다. 그 해에 조윤제(趙潤濟) · 이희승(李熙昇) · 김재철(金在喆) 등과 더불어 조선어문학회(朝鮮語文學會)를 결성하였다.
그 뒤 명륜학원(明倫學院) 및 명륜전문학교 · 경성제국대학 강사를 지냈다. 인민전선부장으로 활동하다가 1939년 김삼룡(金三龍) 등과 박헌영(朴憲永)을 중심으로 하는 경성콤그룹의 독서회사건에 걸려 복역하다가 1941년 병보석이 되었다. 1944년 옌안[延安]으로 갔다.
광복 후 장안파 공산당에 대항한 조선공산당 재건준비위원회의 주요 멤버로 활동하였다. 남로당 문교부장으로 있으면서 『조선소설사』를 증보하려고 손을 대었다가 이루지 못하고, 1949년 11월 이주하(李舟河) · 김삼룡 · 박우룡(朴雨龍) 등과 함께 대한민국 측에 의해서 수색(水色)에서 사형되었다.
대표적인 학문적 업적으로는 『조선한문학사』(1931)와 『조선소설사』(1933)를 들 수 있다. 김태준은 『조선한문학사』를 통하여 전통학문에서 본격적인 국문학 연구로의 이행문제와 관련하여 신구(新舊)학문의 대립이라는 관점을 보여주었다. 이 책은 한문학의 역사적 흐름을 처음으로 체계화한 저술이다.
『조선소설사』는 소설 형성의 역사를 서술하고 있는데, 1939년에 이루어진 『증보조선소설사』에서는 계급론적 시각이 강화되었고 사회경제사적 인식을 바탕으로 문학사 변동 과정을 해석하려고 하였다. 편저로 『조선가요집성(朝鮮歌謠集成)』(1934) 고가요 편 이외에, 학예문고(學藝文庫)에서 『춘향전』 · 『고려가사(高麗歌詞)』 등을 펴냈다.
『동아일보』에 1935년 1월 1일부터 10일까지 연재된 논문 「춘향전의 현대 해석」은 문학에서 생산성을 언급한 획기적인 발상으로, 나중에 『춘향전』의 부록으로 실었는데 유물사관에 의한 「춘향전」의 해석이었다. 1932년 『동아일보』에는 「별곡의 연구」를 연재하기도 하였다.
일본에서 발간된 이와나미문고[岩波文庫] 『춘향전』에 허남기(詐南騏)에 의해서 「춘향전」의 현대적 해설이 번역 · 소개되었다. 일본판 『조선소설사』에는 김태준의 「연안기행(延安紀行)」이 번역, 소개되어 있는데 이는 광복 후 『신천지(新天地)』에 발표하였던 것이다.
김태준의 공로는 『조선한문학사』와 『조선소설사』의 체계화에 있다. 학부 때 중국문학을 전공한 탓으로 비교문학적 관점에서 쓰여졌기 때문에 그 뒤의 국문학사 집필자들에게 많은 영향을 주었고, 지금까지 높이 평가받고 있다. 여기에 참고한 풍부한 서책의 이름은 당시로서는 김태준이 학구적이었다는 것을 증명하고 있다. 『고려가사』는 양주동(梁柱東)의 연구에 따르지 못하고 학문적 태도에 있어서도 철저하게 실증성을 띠지 않았다는 평이다.