대한민국임시정부는 1923년 국민대표회의(國民代表會議)의 결렬과 1925년 이승만(李承晩) 탄핵, 유일당운동(唯一黨運動)의 결렬로 내부적으로 혼란하였다. 또한, 1931년 만보산사건(萬寶山事件)은 중국인들의 반한 감정을 고조시키며 임시정부의 상황을 더욱 어렵게 만들었고, 동년 9월 만주사변(滿洲事變)을 계기로 일제는 대륙 침략을 본격화하기 시작하였다.
이를 배경으로 임시정부는 특무활동을 통해 일제 침략세력을 응징하여 침체된 상황을 타개하고자 하였다. 임시정부 소속기관으로 특무대(特務隊)를 두고 책임자로 김구(金九)를 선임하였다. 재정 수입의 반액을 특무대 활동에 지원하며, 구체적인 특무 계획에 관한 사항은 김구에게 일임하였고, 거사 직전 사전에 보고하도록 하였다.
1931년 12월 13일 이봉창(李奉昌)의 선서식을 계기로 특무대의 명칭으로 한인애국단이 사용되었다.
간부는 단장인 김구를 비롯해 이유필(李裕弼), 이수봉(李秀峰), 김석(金皙), 안공근(安恭根) 등이며, 단원은 이봉창, 윤봉길(尹奉吉), 이덕주(李德柱), 유진만(兪鎭萬), 최흥식(崔興植), 유상근(柳相根) 등이었다. 평시 일정한 수의 단원이 편제된 것이 아니라, 특무활동 직전에 단원으로 가입하여 선서의 절차를 거쳐 거사에 착수하게 하였다.
1931년 말 일본 천황 암살을 계획하여 폭탄과 자금을 준비하고 이봉창을 도쿄[東京]로 밀파하였다. 1932년 1월 8일 이봉창은 경시청(警視廳) 정문 앞을 통과하는 일본 천황의 마차 행렬을 향해 폭탄을 던지고 체포되어 사형에 처해졌다.
그 후 4월 29일 윤봉길이 상하이[上海] 훙커우[虹口]공원에서 거행된 천장절(天長節) 축하장(祝賀場)에 폭탄을 던져 시라카와[白川義則] 군사령관, 우에다[植田謙吉] 육군대장, 노무라[野村吉三郎] 해군중장, 시게미쓰[重光葵] 공사 등 7명을 살상하고 체포되어 사형에 처해졌다.
윤봉길 의거 이후 중국 국민당 정부의 지원으로 중국 육군군관학교 낙양분교(洛陽分校) 내에 '한인특별반'이 설치되었다.