1904년 일제가 러일전쟁을 승리로 이끌면서 대한제국 군대의 지휘권을 장악하기 위하여, 종래 군령권(軍令權)·군사권을 황제에게 직속시키기 위하여 설치되었던 원수부(元帥府)를 명목상의 관제로 바꾸고 모든 군령권·군사권을 군부(軍部)로 이관하면서, 궁내부(宮內府) 군사비서기능의 일부를 떼어내어 그 기능을 담당하게 하였다.
육군대장 혹은 부장으로 임명하는 시종무관장 1인, 육군 참장(參將) 혹은 영관(領官) 그리고 정위(正尉)로 임명되는 시종무관 8인, 하사(下士) 혹은 판임문관(判任文官)으로 임명되는 서기 7인으로 구성되었다. 시종무관장과 시종무관은 황제를 항상 측근에서 봉위(奉衛)하면서 조사에 관하여 상주할 일과 황제의 명령을 전달하는 일 등을 관장하였다.
또한 관병연습(觀兵演習)으로 황제가 출타할 때와 제례·예전(禮典)·어연(御宴)·폐견(陛見)이 있을 때에도 항상 측근에서 호종(扈從)하는 참모관의 구실을 하였다. 그리고 시종무관장은 시종무관들의 근무를 감독하였다.
시종무관은 연습이나 기타 군사상의 시찰을 위하여 파견되기도 하였으며, 황제에게 자문하는 구실도 하였다. 이와 같은 시종무관부 외에도 황태자를 위한 동궁배종무관부(東宮陪從武官府), 친왕(親王)을 위한 친왕부무관(親王附武官) 등이 있었으나 1910년 폐지되었다.