1920년 청산리전투 후 일본군의 간도지방에서의 학살과 1921년 자유시참변 등으로 만주·연해주에서의 독립운동이 한때 분산·침체되면서 독립운동단체들의 통합이 절실히 요구되었다.
이에 1922년서로군정서(西路軍政署)와 대한독립단 등의 단체를 통합한 대한통군부(大韓統軍府)가 결성되었다. 그 뒤 대한통의부(大韓統義府)로 확대, 발전되면서, 우선 서간도지방만이라도 통합이 이루어지는 듯 했다.
그러나 얼마 뒤 주도세력 내부에 분열이 생기며 일부세력이 의군부(義軍府)를 만들어 분립해 나가자, 대한통의부 의용군이 중심이 되어 상해임시정부와 연결하여 참의부(參義府)를 결성하였다.
이 후 대한통의부를 중심으로 통합운동이 재개되어 1924년 7월 전만통일의회주비회(全滿統一議會籌備會)가 소집되었다. 대한통의부·군정서(軍政署)·광정단(匡正團)·의우단(義友團)·길림주민회(吉林住民會)·노동친목회·변론자치회·고본계(固本契) 등의 각 대표들이 길림성 유하현(吉林省柳河縣)에서 모여 통합회의를 개최한 결과, 같은 해 11월 독립운동연합체인 정의부가 탄생되었다.
창립 후 헌장과 선언을 발표하고 자치·군사·교육·재정·생계분과위원 등을 선임하였으며, 중앙행정위원으로 이탁(李沰)·오동진(吳東振)·현정경(玄正卿)·김이대(金履大)·윤덕보(尹德甫)·지청천(池靑天) 등을 선출하여 조직을 완료하였다.
이어 유하현에 본부를 두고 1925년 3월 중앙위원회를 조직하여, 중앙행정위원장 이탁을 비롯하여 민사 현정경, 선전 이종건(李鍾乾), 재무 김이대, 군사 지청천, 법무 이진산(李震山), 학무 김용대(金容大), 교통 윤덕보, 생계 오동진, 외교 김동삼(金東三) 등의 위원장을 임명하였다.
같은 해 7월 상해임시정부의 국무령(國務領)에 정의부 간부 이상룡(李相龍)이 선임되어 재만항일독립운동단체를 중심으로 한 연립내각이 성립되었지만, 임시정부를 높이 평가하지 않던 재만독립운동단체들의 입각거부로 조각에 실패하게 되자, 이듬해 2월 이상룡은 국무령직을 사임하였다.
이 문제를 둘러싸고 중앙행정위원회와 중앙의회가 대립하는 등 물의가 발생하자, 1926년 1월 중앙의회 상임위원장 이해룡(李海龍)은 비상수단으로 정의부 군민대표회(軍民代表會)를 조직하고, 결의 사항을 포고하며 새로운 헌장을 제정하였다.
새 헌장의 특징은 근대적 헌법체제인 삼권분립제도, 내각책임제와 지방자치제의 채택에 있었다. 군민대표회의 성립 이후 정의부의 군인파 세력이 증대되면서 무장항쟁이 중시되었다.
같은 해 10월 정의부는 제3회 중앙의회를 개최하여 군민대표회에서 민정으로 복구하고 헌장을 개정하였다. 이때부터 정의부는 독립운동단체의 현실적 여건을 고려하여, 무력행동을 삼가고 식산흥업(殖産興業)에 힘쓰게 되었다.
흥업실업사(興業實業社)를 설립하는 한편, 농민조합·농민호조사(農民互助社) 등 지방행정조직을 강화하고, 화흥중학교(化興中學校)·동명중학교(東明中學校)·화성의숙(華城義塾) 등을 설립하여, 일반교육 외에 군사교육 및 사상문화계몽에도 힘을 쏟아 혁명간부를 양성하였다. 또한 기관지로 『전우』와 『대동민보(大同民報)』를 간행하여 민족정신을 고취시켰다.
정의부에 참여하고 있던 정이형(鄭伊衡)·양기탁(梁起鐸)·현정경·오동진 등은 독립운동을 조직적으로 지도할 핵심단체가 필요하다는 데 뜻을 같이하였다.
그래서 노령에서 온 이규풍(李奎豊)·주진수(朱鎭秀), 국내에서 온 천도교혁신파인 고려혁명위원회의 김봉국(金鳳國)·이동락(李東洛), 형평사(衡平社)의 이동구(李東求) 등과 접촉하여, 1926년 4월 길림성에서 고려혁명당을 조직하였다.
그러나 고려혁명당은 당내 민족주의자와 사회주의자간의 이념대립으로 이상을 실현하지 못하였다. 결국 민족진영 인사들이 계속 탈당하는가 하면, 주진수·이규풍은 소련으로 돌아가고 말았다. 더구나 1926년 12월 이동락이 체포될 때 고려혁명당 서류를 가지고 있었고 서류에 관계자 이름이 있었다. 일제는 이를 토대로 대대적 체포 작전에 돌입했다. 이듬해 12월까지 정의부 군사위원장 오동진을 비롯한 정이형·이동구 등 핵심간부 15명이 일제 경찰에 붙잡힘으로써 해체되고 말았다.
그 뒤 1928년 2월 정의부·참의부·신민부의 간부들은 영고탑(寧古塔)에 모여 회합을 가지고 삼부연합회의를 개최하기로 결의함으로써 민족유일당운동은 활발히 전개되었다.
이어 5월 길림성 반석현(盤石縣)에서 만주의 18개 독립운동단체 대표 39명이 모여 유일당 구성문제를 토의하였다. 그러나 기성단체를 부정하는 전민족유일당조직촉성회와 기성단체 본위를 주장하는 전민족유일당조직협의회로 분열되었다.
이 후 협의회 중심세력인 정의부는 참의부·신민부와의 통합운동을 벌였으나 완전통합에는 실패하였다. 그러나 신민부의 민정파와 참의부의 일부세력을 합쳐 1929년 국민부(國民府)를 조직하고 정의·참의·신민 3부를 해체하였다. 한편, 촉성회측은 신민부의 군정파와 정의부의 일부, 참의부의 주력이 중심이 되어 혁신의회를 조직하여 국민부측과 대립하였다.