1391년(공양왕 3) 고려의 전통적인 중·전·후·좌·우의 5군 제도에서 전·후 2군을 없애고, 중·좌·우의 3군으로 중앙군을 재편하면서 설치된 것으로, 국내의 모든 군사 조직을 통할하였다. 당시 이성계(李成桂)는 삼군도총제사(三軍都摠制使)로 임명됨으로써 병권 장악을 확고히 할 수 있었다.
조선 건국 후 최고 군령 기관인 삼군도총제부는 1393년(태조 2)의흥삼군부(義興三軍府)로, 이어서 1401년(태종 1) 사병(私兵) 혁파와 함께 승추부(承樞府)로 개편되었다.
그러나 중앙군은 여전히 중·좌·우의 3군으로 편제되어 각군의 도총제(都摠制)·총제(摠制)·동지총제(同知摠制) 등이 의흥삼군부 또는 승추부로부터 군령을 전달받아 다시 각군에 소속된 하급 부대에 전달하고 있었다.
그 후 이들 3군의 총제들을 묶어서 1403년 독자적 군령 기관으로 다시 삼군도총제부를 설치했고, 이 때 첨총제(僉摠制)가 추가로 설치되었다. 관직으로는 3군에 각각 도총제·총제·동지총제·첨총제 외 겸총제(兼摠制) 또는 겸상호군(兼上護軍)을 두었다. 또한 경력(經歷)·도사(都事) 이하의 행정직도 각각 설치되어 군별로 도총제부가 기능하는 형태를 갖추었다.
1405년 승추부는 병조에 흡수되어 병조의 속아문으로 규정되었다. 그 뒤 삼군도총제부를 지휘하는 군령 기관으로서 의흥부(義興府) 또는 삼군진무소(三軍鎭撫所)가 설치되는 변화를 겪었으나, 중앙군의 병력을 실제로 장악하는 기관은 삼군도총제부여서 그 권한은 무시할 수 없었다.
삼군도총제부가 폐지된 것은 1432년(세종 14)이며, 그 대신 중추원이 다시 설치되었다. 하지만 중추원의 군령상의 기능은 형식적인 상태로만 남아 사실상 삼군진무소가 종전의 삼군도총제부의 위치에 가깝게 되었다.