1926년 1월에 상해에서 나창헌(羅昌憲)·이유필(李裕弼)·박창세(朴昌世) 등 독립운동지사들의 주도 하에 조직되었다.
이 단체는 상해 임시정부의 권위와 정신을 옹호 선양하며, 일제의 모든 시설을 파괴하고 적과 일제의 밀정으로 암약하는 한국인들을 습격 주살하여 적의 세력을 약화시켜 한국의 독립을 달성하려는 목적으로 결성되었다.
선언과 8개조의 대헌(隊憲)을 발표하고 1926년 1월 1일부터 활동을 시작하였다. 의용대의 조직은 참모부·사령부·경리부로 구성되었다. 대장 1인과 대부(隊副) 3인의 간부를 두었으며, 18세 이상의 신체강건하고 용맹한 독립운동자를 대원으로 하였다. 의용대는 발족 후 매우 적극적인 활동을 전개해 1926년 4월에는 대원의 수가 50여명에 이르렀다고 한다.
활동을 몇 가지 살펴본다. 1926년 2월 1일최병선(崔炳善)·장진원(張鎭元)·김광선(金光善) 등 대원이 일제 밀정 박제건(朴濟乾)을 살해하였다. 그 해 4월 8일에는 김광선·김창근(金昌根)·이수봉(李秀峰) 등 대원이 상해 일본총영사관에 폭탄을 투척하였다.
같은 해 9월 15일에도 시한폭탄으로 일본영사관을 폭파하였다. 이 밖에도 국내 거사를 위해 김광선·이영선(李英善)·고준택(高俊澤) 등 대원이 폭탄과 권총을 가지고 입국하다가 일제 관헌에게 잡힌 적이 있었다.
그 뒤 활동이 부진하게 되자 1933년 8월, 박창세를 중심으로 강창제(姜昌濟) 대원이 대칙(隊則)을 다시 작성하는 등 재정비해 석현구(石鉉九)·유인발(柳寅發) 같은 일제 주구를 살상하였다. 그러나 이로 인해 일제 관헌의 탄압이 가중되어 간부 대원들이 사방으로 흩어지게 되면서 이후로는 특기할 만한 활동을 남기지 못하였다.