1895년 4월 관제개혁에 따라 군무아문을 개칭하여 설치하였는데, 국방에 관한 사무와 군정·군인감독 등의 직무를 관장하였다.
관원으로는 칙임관(勅任官) 대신 1인과 역시 칙임관 협판(協辦) 1인, 그 밖에 6국과 7과에 관방장(官房長)·부장(副長)을 각각 1인씩 두었는데, 모두 군인으로 충당되었다. 그 외에 기사(技事)·기수(技手)가 1인씩 있었으며, 주사(主事) 26인이 소속되어 있었다.
소속 관청으로는 대신관방(大臣官房)·군무국(軍務局)·포공국(砲工局)·경리국(經理局)·군법국(軍法局)·의무국(醫務局)·정리국(整理局) 등이 있었고, 1900년에 육군법원을, 1904년에는 군기창(軍器廠)을 부속 기관으로 두었다. 1904년 관제개혁으로 포공국과 정리국은 폐지되고, 해방국(海防局)이 신설되었다.
각 기관의 업무를 개괄하면, 대신관방은 장교 및 상당관(相當官)의 임명·봉급·은급·서품·포상에 관한 사항을 담당하였고, 보병과 하사 이하의 보충 및 기타의 인사 행정을 관장하였다. 군무국은 협판을 국장에 충당하고 군사과(軍事課)·마정과(馬政課)·외국과(外國課)의 3과를 두어 업무를 분장하였다.
군사과는 참모영관(參謀領官)으로 과장에 임명하고, 군대 편성의 기안, 동원 계획, 운수 교통의 조사 및 계획, 병기재료 및 탄약, 작전계획, 군대배치, 요새 위치의 조사, 계엄, 군대의 근무·교육·연습·검열, 학교·예식복장, 각 병과의 장교 보충에 관한 사항 등을 맡았다.
마정과는 기병(騎兵) 및 치중병과영관(輜重兵科領官)을 과장에 임명하여 말〔馬〕의 보충·사육·위생·징발, 기병·치중병과 하사의 보충에 관한 사항 등을 담당하였다. 외국과는 외국과 관계되는 사무, 외국 유학생, 외국문서의 번역 및 전사(戰史) 편찬, 문고 관리에 관한 사항 등을 관장하였다.
포공국은 참장(參將) 혹은 포공병과정령(砲工兵科正領)을 국장에 임명하고, 포병과·공병과 등의 2과를 두어 사무를 분장하였다. 포병과는 병기 및 탄약, 포병과 하사 이하의 보충에 관한 사무를 처리하였다. 공병과는 요새 및 보루, 공병과 하사 이하의 보충에 관한 사항을 관장하였다.
경리국은 감독장 또는 감독을 국장에 임명하고, 제1과와 제2과를 두어 사무를 분담하였다. 제1과는 예산·결산회계, 회계장부의 검사, 감독부·군사령부의 교육에 관한 사항을 담당하였으며, 제2과는 군용지(軍用地) 및 건축물·관유재산의 회계 및 군부의 용도에 관한 사항 등을 처리하였다.
군법국은 군무 국장이 겸임했으며, 군사·사법·감옥·군법국 및 감옥의 인원에 관한 사항 등을 관장하고, 군법회의를 두어 군인의 중죄를 재판하였다. 의무국은 군사 위생 및 의료에 관한 업무를 맡았다.
정리국은 국장이 군무협판이며, 구규(舊規)의 보호·폐지·개정 등 기타 군무에 관한 사항 등을 정리하였고, 해방국은 해양 방비를 맡았다.
1907년 일본이 강제로 대한제국 군대를 해산한 이후 유명무실한 상태를 유지하다가 1909년 7월에 완전히 폐지되었다.