1931년 9월 일제가 만주침략을 자행하자 상해 임시정부에서는 일제침략의 원흉을 주살하고 일제의 중요군사기관을 파괴하는 등, 한국인의 독립정신을 선양하기 위하여 테러행위를 논의하였다.
그 뒤 이를 본격화하기 위하여 임시정부 외교부장 조소앙(趙素昻)은 특무대(特務隊)를 의생단으로 개칭하여 의경대장이자 특무대장인 김구(金九)에게 인계하였다. 김구는 독자적으로 테러계획을 수립하여 임시정부에 보고한 뒤 실행하였다.
1932년 1월 일본 동경에서의 이봉창(李奉昌)의 사쿠라다문의거(櫻田門義擧)와 1932년 4월 상해 훙커우공원(虹口公園)에서의 윤봉길의거(尹奉吉義擧)는 김구 주도하의 애국단(愛國團)에서 실행하였다고 공표되었지만, 사실은 의생단의 조직방침내에서 애국단의 이름으로 김구 책임하에 실행된 것이었다.