자는 명석(明石). 본명은 김병희(金炳禧)이고 별명은 김무정(金武亭)이다. 함경북도 경성 출생.
함북 경성에서 태어나 서울에서 자랐다. 서울 중앙고등보통학교에 다녔으나 1923년 중퇴하고, 같은 해 3월 중국으로 건너가 1924년 중국 바오딩군관학교[保定軍官學校: 강무당 포병과]에 입교, 같은 해 졸업하고 임관하였다. 1925년 중국 공산당에 가입, 상하이[上海]에서 중국 공산당 조선인지부에서 활동하였다. 1929년 상하이 폭동 당시 폭동 책임자의 한 사람으로 활동하다 영국 경찰에 체포되어 2개월의 옥고를 치렀다.
국공분열 후에는 루이진[瑞金]의 중국 노농홍군에 입대, 1934년 10월부터 전개된 2만 5,000리 대장정에 참여하였다. 1937년 8월 노농홍군이 중국 국민혁명군 제팔로군으로 이름이 바뀔 때 총사령부 작전과장으로 임명되었다. 이듬해 1월 제팔로군 최초로 창건된 포병단(병력 1,000여 명)의 단장이 되었다. 제팔로군이 화북 일본군에 대공세를 퍼부었던 1940년 하반기 백단대전(百團大戰)에 포병을 이끌고 참전하였다.
그 뒤 주로 조선인 민족간부 양성에 주력하여 화북조선청년연합회(1941년 1월 太行山 속에서 결성) 조직을 주도, 회장에 취임했으며, 1942년 7월에 조직된 조선의용군 총사령이 되었다. 그 해 말 타이항산에서 화북조선혁명군사학교를 창설, 조선 청년들을 교육하였다.
광복 후 김두봉(金枓奉) 등과 함께 개인 자격으로 북한으로 입국, 1946년 2월 북조선임시인민위원회 중앙위원, 같은 해 7월 북조선노동당 제2비서와 보안간부훈련대대부(사령관 崔庸健)의 포병담당 부사령관, 1948년 3월 조선노동당 제2차당대회에서 중앙위원으로 각각 선출되었다. 6 · 25 초기에는 제2군단장으로 출전했고, 인민군 후퇴시에는 수도(평양)방위사령관에 임명되었다.
그러나 1950년 12월 4일 만포 별오리에서 열린 조선노동당 중앙위원회 제3차정기대회에서 불법살인 · 명령불복종죄로 규탄받고 강등, 인민군 수인(囚人)부대 연대장이 되어 평양 모란봉극장을 지하에 건설하기 위한 작업에 종사하였다. 중화인민공화국의 요구로 중국으로 인도되었으나 1951년 7월경 병으로 죽었다.