1880년(고종 17) 설치 당시에는 통리기무아문(統理機務衙門)에 소속된 12사의 하나였으며, 군무당상(軍務堂上)에는 민겸호(閔謙鎬)와 윤자덕(尹滋悳)이 임명되었다.
이듬해 11월 통리기무아문의 기구가 12사에서 7사로 개편될 때에도 존속되었으며, 그 때 군무사에는 총무국·참모국·교련국 등 3국이 설치되었다. 군무사 당상경리사(堂上經理事)에는 이재원(李載元)·신정희(申正熙)·민영익(閔泳翊)·조희순(趙羲純)·이원회(李元會) 등이, 부경리사에는 홍영식(洪英植)이 임명되었다.
이들 가운데 민영익과 홍영식은 총무국에, 신정희와 조희순은 참모국에, 이재원과 이원회는 교련국에 각각 배치되어 업무를 나누어 맡게 되었다. 1882년 11월 통리기무아문이 통리아문과 통리내무아문(統理內務衙門)으로 분화되고, 그 해 12월에 통리아문이 통리교섭통상사무아문(統理交涉通商事務衙門)으로 개칭되었다.
통리내무아문이 통리군국사무아문(統理軍國事務衙門)으로 개칭될 때 통리군국사무아문에 소속되었다. 이 때 독판(督辦)에 김병시(金炳始), 협판(協辦)에 이교익(李喬翼)과 조준영(趙準永), 참의(參議)에는 민응식(閔應植), 주사(主事)에 이중하(李重夏)·윤태일(尹泰馹)·서상교(徐相喬) 등이 임명되었다.