조선공산당의 광범위한 조직계획에 의거하여 장차 편성될 군의 모체가 될 의도에서 결성되었다.
이 단체는 ① 우리는 현재 가지고 있는 군사적 역량(軍事的力量)을 집결하여 국군 편성의 기초를 준비하고자 함, ② 우리는 군벌적발전(軍閥的發展)을 경계함, ③ 신정부 군대가 편성된 때는 그에 함유함, ④ 우리는 주의적(主義的) 혹은 파벌적 내쟁(派閥的內爭)을 배격함, ⑤ 우리는 자위치안(自衛治安)에 노력함 등을 강령으로 채택하고, 각 부서 및 책임자를 다음과 같이 구성하였다.
총사령 이혁기(李赫基), 부사령 유치옥(兪致玉), 참모장 최영(崔榮), 경리부 이재복(李載馥), 정보부 장도용(張道用), 훈육부 김한영(金漢永), 감찰부 송태익(宋泰翊), 서무부 김철구(金徹龜), 외교부 연정(延禎), 계몽부 이영호(李永鎬), 위생부 차성기(車星基) 등이다.
이 단체는 1945년 12월 26일 서울 중앙중학교에서 전국대표자대회를 개최하였다. 이 대회에서 부대기를 수여함과 동시에 김일성(金日成)·김원봉(金元鳳)·지청천(池靑天)·무정(武丁)을 명예회장으로 추대하고 연합군과 내외 투사들에게 메시지를 보낼 것을 결의하였다.
그러나 이 자리에 참석했던 김구(金九)는 군사단체들이 무질서하게 탄생하는 것에 대한 염려를 신중하게 표명하면서 일국일군(一國一軍)의 정신을 강조하였다.
좌익계 군사단체로서의 조선국군준비대가 대한민주청년동맹(약칭 대한민청) 등 우익계의 청년단체들과 충돌하면서 활동하는 동안, 임시정부의 광복군 국내지대를 책임 조직한 오광선(吳光鮮)과 유동열(柳東說)은 1945년 11월 1일 대한국군준비위원회를 조직하였다. 이에 장차 불리한 처지에 처할 것을 예상한 이 단체에서는 오광선측에 통합을 제의하였다.
12월 30일 신탁통치문제를 계기로 쌍방 대표간에 통합문제를 놓고 형식상의 회합이 이루어졌으나, ‘대한(大韓)’이라는 칭호를 사용할 수 없다는 이 단체측의 간계로 회합은 흐지부지되고 말았다.
그 뒤 이 단체는 대한국군준비위원회에 대항하기 위하여 전국군사준비위원회를 조직하였다. 이 군사준비위원회는 1946년 1월 8일 미군정에서 국방경비대를 창설함으로써 다른 유사단체들처럼 해산되었다.