본래 군사를 통할하던 삼군도총제부(三軍都摠制府)는 병조의 지휘하에 있었는데, 병조를 맡은 유신(儒臣)들이 군사의 실무를 알지 못한다는 것과 병조에 군령(軍令)·군정(軍政)이 집중되어 있는 것이 부당하다 하여 1409년(태종 9) 삼군진무소를 설치하였다.
관원으로는 초기에 도진무(都鎭撫)·상진무(上鎭撫)·부진무(副鎭撫) 27인을 두었으나 때에 따라 증감하기도 하였다. 장관인 도진무는 가끔 문신으로 임명되는 경우가 있었지만, 대개는 무신직을 역임하는 자가 임명되었으며, 전임관(專任官)이 아니라 겸임관(兼任官)으로 충당되었다.
삼군진무소는 곧 의흥부(義興府)로 개칭되어 군령에 관한 사항을 장악하였는데, 태종이 전위(傳位)함에 이르러서는 의흥부를 의건부(義建府)로 고쳤다가, 1419년(세종 1) 의건부를 삼군도총제부에 합속시키고 따로 삼군진무소를 두었는데, 여기에 점차 문신들이 들어가게 되고 또 군령상으로도 병조의 지휘를 받게 되었다.
1457년(세조 3) 군사조직이 오위로 고정됨에 따라 오위진무소(五衛鎭撫所)로 개편되었다가 1466년 오위도총부가 편성되면서 없어졌다. →오위도총부