의병장 출신 김규식(金圭植)과 고평(高平)·이범석(李範奭) 등이 1923년 5월연길현(延吉縣) 명월구(明月溝)에서 조직하였다. 1920년 봉오동전투·청산리대첩 후 전 독립군단체가 노령으로 들어갈 때 의군부군(義軍府軍)도 동행하였다.
그러나 자유시참변을 겪은 뒤 소만(蘇滿) 국경을 넘어 옛 활동근거지인 연길현으로 돌아왔다. 이들은 추위와 식량난으로 크게 곤경을 겪고 있었는데, 이 소식이 1922년 3월 상해 대한민국임시정부에 알려지자, 임시정부는 노병회(勞兵會) 등과 같이 군자금을 모금, 50원을 지원하였다.
이에 재생의 전기를 마련한 김규식·고평 등은 청산리대첩의 주역 이범석을 맞아 명월구 요새지에서 400여명을 모아 고려혁명군을 조직하였다. 이는 북간도를 근거로 하여 크게 항일투쟁을 전개하면서 성과를 거두었던 의군부를 재편성한 큰 항일부대였다.
이들은 실전의 경험을 살려 진보적인 이념과 방법으로 전면적인 전술전략을 쇄신하고 나섰다. 주요간부진용은 총사령 김규식, 참모장 고평, 부관장(副官長) 최해(崔海), 기병사령(騎兵司令) 이범석, 사장(師長) 최준형(崔俊亨), 헌병대장 허승완(許承完), 경무관(警務官) 허통(許通) 등이었다.
이 단체는 국민개병제도를 택하고 일반동포의 교육계몽에 주력하여 군인의 자치를 도모하였다. 또한, 병농일치제를 채택하여 표면으로는 선량한 농민을 가장하며 항일투쟁을 전개하였다.