북간도에서 서일(徐一) 등의 대종교인들 중심으로 이루어진 중광단(重光團)이 3·1운동 이후 정의단(正義團)으로 확대·개편되면서 무장독립운동을 수행하기 위해 대한군정회(大韓軍政署, 약칭 군정회)를 조직하였다. 이후 대한군정부(大韓軍政府, 약칭 군정부)로 확대 개편하였으며 임시정부로부터 대한군정서로 인준받았다.
창립 당시의 주요 인물은 서일·현천묵(玄天默)·계화(桂和)·이장녕(李章寧) 등으로, 이들은 무장독립운동을 위해 신민회(新民會)·광복회(光復會) 계열의 김좌진(金佐鎭)을 초빙하여 독립군의 조직과 훈련을 담당하게 하였다.
1919년 10월 대종교와 신민회 주도로 대한정의단(大韓正義團)과 대한군정회(大韓軍政會)가 통합되어 대한군정부(大韓軍政府)로 개편되었다. 그 해 12월 상해 임시정부는 명칭을 ‘대한군정서(大韓軍政署)’로 변경할 것을 조건으로 승낙하였다. 이때부터 ‘대한군정서’가 공식 명칭이 되었다. 한편, 상해 임시정부는 서로군정서(西路軍政署)와 구분해 대한군정서에 대해서는북로군정서(北路軍政署)라는 명칭을 애용하였다.
북로군정서 개편 당시의 임원은 총재 서일, 총사령관 김좌진, 참모장 이장녕, 사단장 김규식(金奎植), 여단장 최해(崔海), 연대장 정훈(鄭勳), 연성대장(硏成隊長) 이범석(李範奭), 경리 계화, 길림분서고문 윤복영(尹復榮), 군기감독 양현(梁玄) 등이었다.
군정서는 근거지를 왕청현(汪淸縣)의 서대파십리평(西大坡十里坪) 일대의 약 30리에 걸친 삼림 지대에 두고 8동의 병영을 지어 사관연성소(士官練成所)를 설립하였다. 신흥무관학교에 도움을 요청하여 소장에 김좌진 이하 교관 이범석·이장녕·김규식· 김홍국(金洪國)·최상운(崔尙雲)·오상세(吳祥世) 등 다수의 장교와 각종 교재를 공급받고, 관할 지역내 주민들과 국내로부터 오는 청년들을 뽑아 본격적인 군사 훈련을 실시하였다.
6개월 과정의 속성과는 정신교육·역사·군사학·술과(術科: 병기와 부대지휘 운용)·체조 및 규령법(叫令法) 등을 과목으로 정하고, 군사 훈련은 구한국 군대식 방법을 기본으로 실시하였다. 1920년 6월 기초 훈련을 끝낸 600명 중에 300명만이 회색 군복을 입고 본격적인 군사훈련에 들어갔다.
군정서는 군사 훈련 외에 노령·간도의 각 독립 운동 단체와 제휴했을 뿐 아니라 북만 독립운동자의 연락 중심지가 되기도 하였다. 지방 행정에도 유의하여 소학교·야학·강습소 등을 설립하는 한편, 지방 산업 진흥에도 편리를 도모하였다.
독립군 편제는 소·중·대대로 하되 1개 소대를 50명으로 구성하여, 2개 소대를 1개 중대로, 2개 중대를 1개 대대로 편성하였다. 병력 규모는 초기에는 500여 명이던 것이 1920년 8월에는 1,600명을 넘어섰으며, 소총 1,300정, 권총 150정, 기관총 7문 등으로 무장된 동북만주 최강 정예 부대가 되었다.
그리고 운영 자금은 관할 지역 주민이나 혹은 국내에서 징수되는 모금액으로 충당되었다. 자금은 주로 연해주에서 무기를 구입하는데 사용했는데 독립군 1인당 개인장비로는 소총 1정, 탄환 500발, 수류탄 1개, 비상식량용 조 6되, 짚신 1켤레 등이었다.
1920년 10월 일제는 재만 독립군 토벌을 목적으로 대규모의 출병을 했지만, 그에 앞선 8월 중국군 연길영장(延吉營長)인 맹부덕(孟富德)의 종용으로 재만 독립군은 이미 산간의 안전 지대로 부대 이동을 개시한 뒤였다.
군정서도 장백산(長白山)으로 향해 가던 중, 10월에 청산리(靑山里) 어귀인 화룡현 삼도구(三道溝)에 이르러 보병·기병·야포병·공병 등의 혼성 부대인 일본군 동지대(東支隊) 37여단 소속의 1만 명과 접전을 벌이게 되었다.
이것이 유명한 청산리대첩으로, 10월 20일에서 23일까지 10여 차례의 전투에서 수많은 일본군을 사살한 뒤 일군의 반격을 피하여 소만국경지대인 밀산으로 이동하였다. 전투 당시 독립군 부대는 임시 전투 편제인 둘로 나뉘었다. 즉 훈련 정도가 낮은 비전투원은 사령관 김좌진 밑에 전지와 떨어진 곳에 대기하였고, 사관 훈련소를 졸업한 600여 명의 정예 병력은 이범석 휘하에서 일군과 대결하였다.
그 뒤 군정서는 일본군을 피해 이동해 온 대한독립군·대한신민회·도독부·의군부·혈성단 등 10여 개 독립군 부대와 함께 밀산에 집결하였다. 무장독립군부대는 러시아와 교섭하며 밀산에서 연해주 이만 일대로 이동하였다. 러시아는 이만에 집결한 항일무장독립군을 자유시로 이동시키며 무장을 해제할 것을 종용하였다. 서일과 김좌진이 이끈 부대는 무장해제를 거부하며 만주로 회군하였다. 남은 북로군정서 군대는 박두희(朴杜熙)의 지휘 아래 홍범도 부대에 편입되어 자유시로 이동하였다.