일제의 압력을 이기지 못한 중국측의 요구에 남·북만주 각지, 특히 북간도에 있던 독립군 부대들은 새로운 항일전 기지를 건설하기 위해 중·소 국경 부근인 밀산(密山) 방면으로 이동하였다.
1920년 12월 북로군정서(北路軍政署)의 주도 아래 대한독립군·대한신민회, 구춘선(具春先)이 회장인 대한국민회, 혼춘(琿春)의 대한국민회·군무도독부(軍務都督府)·의군부(義軍府)·혈성단(血誠團)·야단(野團)·대한정의군정사(大韓正義軍政司)의 대표들이 노령(露領) 연해주(沿海州)로 건너가 장기 항일전을 준비하기로 결정하고, 밀산에서 이 단체를 조직하였다.
총재는 서일(徐一), 부총재는 홍범도(洪範圖), 고문은 백순(白純)·김호익(金虎翼), 외교부장은 최진동(崔振東), 참모부장은 김좌진(金佐鎭), 참모는 이장녕(李章寧)·나중소(羅仲昭), 군사고문은 지청천(池靑天), 제1여단장은 김규식(金奎植), 참모는 박영희(朴寧熙), 제2여단장은 안무(安武), 참모는 이단승(李檀承), 제2여단 기병대장은 강필립, 중대장에는 김창환(金昌煥)·오광선(吳光鮮)·조동식(趙東植) 등을 선임하였다.
군단 휘하에 상급부대로 여단을 두고, 그 아래 3개 대대 9개 중대 27개 소대가 편성되어 있었으며, 총병력은 3,500여 명이었다.
자유시로 이동하는 과정에서 무장해제에 불응한 부대는 연해주 이만(현재의 러시아 연해주 달네레첸스크 지방)에서 만주로 회군하였다. 자유시로 이동한 부대는 통합 과정에서 흑하사변(이칭: 자유시사변)을 겪었다. 흑하사변 뒤 자유시에 남은 군대는 고려혁명군으로 재편되었다. 이후 고려혁명군은 이르쿠츠크로 이동하였다.
항일무장독립군 부대를 통합하여 독립군단을 만들려는 노력은 지속되었다. 이러한 노력의 일환으로 1924년 9월 군사연합회의준비회가 조직되었다.총재에 이범윤(李範允), 총사령관에는 김좌진이 선임되었다. 김규식·최진동(崔振東)·현천묵(玄天默)·강국모(姜國模)·남성극(南星極)·최호(崔灝)·박두희(朴斗熙)·유현(柳賢)·이장녕 등이 활동하였다. 만주 동녕현(東寧縣)을 중심으로 수분하(綏芬河)에서 하얼빈[哈爾濱]을 잇는 동지연선(東支沿線)을 따라 세력을 확장시켜나갔다.
그러나 이 때 여러 독립군 부대가 공식적으로는 단일 독립군단으로 통합되어 있었으나, 재정이 궁핍하고 군세(軍勢)가 분산되어 있어 실제로는 완전한 통합을 이루지 못하였다.