조선의용대의 대장은 김원봉이었다. 처음에는 제1구대(朴孝三)와 제2구대(李益星)로 편성되어 있었는데 1940년 5월 3개 지대로 확대, 개편하였다. 이때 조선의용대는 후난성[湖南省]과 후베이성[湖北省] 일대에서 일본군과 싸웠다.
한편, 조선의용대 본부는 구이린[桂林]·치장[綦江]을 거쳐 충칭[重慶]으로 옮겨 1940년 11월 4일 조선의용대의 화북 이동을 결정하였다. 조선의용대 본부는 충칭에 남고 모두 허난성[河南省] 뤄양[洛陽]으로 집결해 1941년 3월 황하의 맹진(孟津)나루를 건너 화북으로 이동하였다.
그리고 그 해 7월 10일 린현[林縣]에서 신악(申岳)·윤세주(尹世胄)·박효삼(朴孝三)·김창만(金昌滿) 등을 중심으로 조선의용대 화북지대를 결성하였다. 지대장에 박효삼, 제1대장에 이익성, 제2대장에 김세광(金世光), 제3대장에 왕자인(王子仁)이 임명되었다.
그 뒤 화북지대는 타이항산[太行山]일대에서 후자좡[胡家庄]전투(1941.12.12.)·싱타이[邢台]전투(1941.12.26.)·폔청[偏城]전투(1942.5.28.)를 치렀다. 폔청전투 무렵인 1942년 5월 충칭에 있던 조선의용대 본부가 임시정부의 광복군 제1지대로 편입하자 화북지대는 본부 없는 지대가 되고 말았다.
그리하여 1942년 7월 10일 허베이성[河北省] 타이항산 끝자락에 자리한 셰현[涉縣]에서 화북조선청년연합회 제2차 대회가 개최되었고 조선의용대 화북지대를 조선의용군으로 개편하였다.
조선의용군은 중국국민혁명군 제8로군에 있던 무정(武亭)을 사령관으로 맞았다. 1942년 7월 10일 때마침 충칭에 있던 김두봉(金枓奉)이 옌안[延安]을 거쳐 타이항산으로 왔으므로 그를 맞아 조선독립동맹을 결성하고 조선의용군은 그의 당군이 되었다.
1943년 6월 일본군의 침공을 받아 제8로군과 함께 이른바 ‘반소탕전’을 전개하며 타이항산 속 곳곳에서 항전하며 용명을 떨쳤다.
그때 중국공산당에서 조선의용군의 옌안 이동을 결정하였다. 많지도 않은 인력을 타이항산전투에서 소모하기 보다는 전쟁 후에 조선 통치의 요인으로 보호하는 것이 중국공산당에 유익하다는 정치적 계산이 있었던 것 같다. 조선의용군은 1943년 12월부터 1944년 3월까지 옌안 이동을 완료하였다.
조선의용군은 옌안 교외의 뤄자핑[羅家坪] 마을에 주둔하였다. 조선의용군 사령관은 무정이었지만 그는 제8로군의 포병사령부의 책임을 맡아 있었기 때문에, 뤄자핑에 있는 조선항일군정학교가 사령부의 구실을 하였다. 군정학교는 김두봉이 교장이었고 부교장은 박일우(朴一禹), 학도대장은 박효삼이었다. 그 밑에 4개 구대가 있었다.
조선의용군은 뤄자핑에 있는 병력 외에 산둥성[山東省]에 이익성, 산시성[山西省]에 김세광, 동북(만주)지방에 이상조(李相朝)가 이끄는 선견대(先遣隊)가 별도로 있었다. 그들은 전선에서 일본군에 종군한 조선인 병사들을 초모해 조선의용군의 병력을 증강하며 정보수집활동을 하였다.
조선의용군의 병력은 조선의용대 화북지대 병력 150명 정도 외에 제8로군에 종군한 10명 내외, 1940년 최창익·허정숙(許貞淑)과 함께 조선의용대가 구이린에 있을 때 미리 온 18명, 그리고 김태준(金台俊)·김사량(金史良)처럼 망명해온 인사, 그리고 각처에서 새로 초모한 인원을 300명 정도로 보면 모두 합쳐 약 500명을 헤아린다.