1938년 김원봉(金元鳳)에 의해 창설되어 항일운동에 다대한 공적을 쌓았다. 1942년 봄 일부 대원이 한국광복군의 제1지대로 개편·흡수되었으며, 조선의용대의 주력은 1942년 7월 화북조선독립동맹(華北朝鮮獨立同盟)이 지도하는 조선의용군(朝鮮義勇軍)으로 개편되었다.
식민지 노예가 되기를 원하지 않는 동포를 규합하고 파시스트군벌의 압제 하에 있는 모든 민중을 연합하며, 일본군벌을 타도하여 동양의 영원한 평화를 완성하고자 하였다.
1938년 일본군이 난징[南京]을 함락한 뒤 우한삼진[武漢三鎭]을 공략목표로 삼아 쉬저우대회전[徐州大會戰]을 전개하고 있었다. 그리고 7월에 청쯔현[成子縣]의 조선독립군이 후베이성[湖北省]·장링[江陵]으로 이동하여 훈련을 마친 뒤 한커우[漢口]로 들어왔다.
이때 일본군의 우한삼진의 함락이 눈앞에 다다랐으며, 중국군이 필사적으로 항전하였으나 패전하였다. 이에 중국 당국과 조선청년들이 협의하여 의용대를 구성하여 참전할 것을 선언하였다.
초기 구성원은 총대장 김원봉(金元鳳), 부대장 신악(申岳), 정치조(政治組) 김학무(金學武), 조원(組員) 이달(李達), 선전대장 김창제(金昌濟), 총무대장 이집중(李集中), 서무주임 이해명(李海鳴), 외교주임 한지성(韓志成) 등 200명이었다.
초창기의 병력은 200여 명에 불과하였으나, 1940년 2월에는 314명에 이르렀다. 그러나 1940년 9월 대한민국 임시정부에 한국광복군(이하, 광복군)이 창군되자, 이에 참가하는 자가 생기고 일부 이탈자가 발생하여 1941년 5월에는 81명으로 줄어들었다. 결국 1942년 4월 대한민국임시정부 제28차 국무회의에서 광복군에 편입할 것을 결의하였다.
같은 해 5월 제30차 국무회의에서 광복군에 부사령직의 증설에 따라 의용대 총대장 김원봉이 광복군 부사령관에 취임하고, 의용대는 5월 18일자로 광복군 제1지대에 편입되었다. 이를 계기로 광복군은 3지대로 증강되었다. 광복군 제1지대는 부사령관 김원봉이 지대장을 겸임하고, 총무조장 이집중, 제1구대장 이소민(李蘇民), 제3구대장 박효삼이 임명되었다.
그러나 이러한 개편은 중국 국민정부 군사위원회에서 진행한 것이었고 박효삼·이익성(利益成, 제3구대 부구대장)·이지강(李志剛, 제2지구대 서기)·문정일(文正一, 제2구대 제3분대장)은 조선의용대 화북지대에서 활동하고 있었다. 조선의용대 화북지대는 1942년 7월 조선의용군(朝鮮義勇軍)으로 확대 개편되었다.
최초의 편제는 2개의 구대(區隊)로 편성되었다. 제1구대는 대장 박효삼(朴孝三)이 지휘하여 후난[湖南]·장시[江西] 일대에서 활동하였다. 그리고 제2구대는 이익봉(李益鳳)의 지휘로 안후이[安徽]와 뤄양[洛陽]일대에서 활동하였다. 본부는 처음에는 광시성[廣西省] 구이린수동문외[桂林水東門外] 동령가(東靈街) 1호에 있었으나 후일 충칭시[重慶市] 아관보(鵝官堡)로 옮겼다.
조선의용대는 많은 당원을 만주로 밀파하여 밀산현(密山縣)을 본거지로 동지를 규합하고, 일만군(日滿軍)의 후방을 교란시킨다는 방침을 세웠다. 그런데 이를 위한 경비 및 교통상의 문제 등으로 인해 불가능하다고 판단될 경우에는, 중국군 제1부대의 후방으로 진출하여 동대의 선전을 위한 중국군의 원조공작을 담당하도록 하였다. 이와 같은 공작마저 어려울 경우에는 상하이·톈진·베이징 등 요지는 물론, 일본·조선·대만·만주 등 각지에 첨예분자를 밀파하여 적극적인 활동을 펼친다는 것이었다.
따라서 조선의용대의 활동은 전투, 일본군정의 탐지 또는 점령지역내의 정보수집, 일본인 포로 취조 및 사상공작, 일본군대에 대한 선전공작, 중국군대 및 민중에 대한 선전공작, 적문서의 번역 등 다양하였다.
1941년 3월 초베이징·허베이성[河北省]·스먼[石門]·허난성[河南省]·장더[彰德]·칭다오[靑島]·상해·허베이성 충샹현[鍾祥縣] 등지에 무장정치공작대를 파견하기도 하였다.
의용대의 조직으로 국제정규전에 독자적 부대 단위로 직접 참전 및 훈련하는 계기가 되었으며, 조선의용대의 합류를 계기로 광복군의 조직과 전투력이 급격히 증대되었다.