1925년 충청북도 장호원소학교를 졸업하고 청주고등보통학교에 입학하였다. 1927년 부친이 파산하여 가족이 서울로 이주할 때 유학을 결심하고 1월 1일 단신으로 도쿄에 도착하였다. 그 후 1928년부터 1929년까지 배달 등의 막일을 하다가 4월 도쿄 중앙대학 전문부 법과에 입학하였으나 바로 학교를 그만두었다. 1930년 6월 일본의 문예 동인지 『신흥시인』에 시 「압록강」으로 등단하였다. 1931년 8월 전일본무산자예술동맹(NAPF)에 가입하였고, 10월 도쿄에 있을 때 시인 「사랑하는 대륙이여」를 발표하였으며, 11월 나프 후신인 일본프롤레타리아문화연맹(KOPF)에 가입하였다. 1932년 6월 ‘코프 대탄압’ 때 치안유지법 위반으로 체포되어 수감되었다가 1936년 3월 11일 출소하였다. 같은 해 10월 28일 ‘조선예술좌사건’ 때 문예부 고문으로 검거되었으나 11월 불기소처분으로 석방되었고 1937년 7월 조선에 강제 송환되었다.
귀국 후 문학계의 창작방법 논쟁에 가세하여 「조선문학의 신세대-레아리즘으로 본 휴마니즘」(1937)·「문학에 있어서의 진취적 낙천주의」(1938) 등을 통해 리얼리즘을 옹호하였다. 이 시기 평론으로 「현대와 낭만적 정신」(『동아일보』, 1936.7.24∼29)·「인간성의 문제와 근대적 문학정신」(『조선일보』, 1937.1.9∼15)·「조선문학의 신세대」(『동아일보』, 1937.6.11∼16)·「리얼리즘문학 발전론」(『동아일보』, 1937.9.14∼18)·「리얼리즘의 옹호」(『동아일보』, 1937.10.14∼16) 등이 있다.
1938년 7월 일본군국주의단체인 동아연맹의 간사를 맡기 시작하고, 1939년 4월 『동양지광』에 참여하면서 본격적으로 훼절의 길을 걷기 시작하였다. 6월 국민문화연구소 이사 겸 출판부장이 되었고, 10월 조선총독부 외곽단체인 조선문인협회 발기인으로 참여하였다. 1939년 9월 동양지광사 사업부장, 1940년 1월 편집부장을 역임하였다. 1941년 12월 13일 조선문인협회가 주최한 ‘결전문화대강연회’에서 시를 낭송하였다. 1942년 9월 조선문인협회 총무부 상무, 11월 조선소국민문화협회 발기인으로 참여하였다. 같은 해 12월 18일 침략전쟁과 대동아공영권을 찬양한 일본어 시집 『아세아시집』을 발간하였다. 1943년 4월 『아세아시집』으로 국민총력조선연맹에서 제정한 제1회 국어총독문예상을 받았고 수상상금 300원을 조선군 애국부에 국방헌금으로 냈다. 같은 해 4월 29일 『아세아시집』이 총후국민문화운동에 공헌하였다는 이유로 경성대화숙에서 표창장을 받았다. 같은 해 5월 일본건국신화를 서사시로 써서 일본과 일본천황을 예찬한 일본어 시집 『서사시어동정』을 냈다.
1944년 3월 조선문인보국회 기관지 『국민시가』 편집위원이 되었고, 4월 국민총력 평안남도연맹, 평양부 연맹이 주최한 결전문화의 밤에 초빙되어 「신민문학에 대하여」라는 제목으로 강연하였다. 같은 해 6월 10일 일본어 시집 『보도시첩』을 발간해서 ‘총후반도’의 정신적 각오와 ‘황도조선’의 건설을 노래하였다. 1945년 8월 1일 조선문인보국회 상무를 맡았고, 8월 10일 일본어 시집 『아름다운 조선』을 발간하였으나 해방을 맞아 전질을 폐기처분하였다.
해방 후 재산일체를 양도할 것을 요구받자 조선문인보국회 상무이사 자격으로 양도증서에 서명한 후 잠적하였다. 1949년 여름 반민특위에서 최재서와 함께 조사를 받은 후 구류 7일 만에 기소유예로 석방되었다. 1994년 6월 21일 사망하였다.
김용제의 일제 강점기 활동은 2004년 10월 29일 공포된 대통령령 제18571호 「일제강점하 친일반민족행위 진상규명에 관한 특별법」에 해당하는 친일반민족행위로 규정되어 친일반민족행위진상규명위원회의 『친일반민족행위진상규명 보고서』에 친일 행적이 상세하게 채록되었다.