조선 초기 양계(兩界)에는 군익도(軍翼道)가 편성되어 있었고, 그 군사책임자 직함이 도병마사·도절제사·병마절제사 등으로 일정하지 않던 것을 1415년(태종 15) 병마절제사로 통일하였다.
당시 병마절제사는 2품 수장(守將)으로 호칭되었는데, 세종 때 4군·6진을 개척하면서 이들 국방상의 주요 거점에 2품 무장을 임명할 경우 역시 병마절제사 직함을 주었다.
그런데 1455년(세조 1) 전국에 군익도를 편성하여서 각 도에 몇 개의 거진(巨鎭)을 두어 인근의 읍을 중·좌·우익으로 편성, 소속시키고 그 수령은 직급에 상응하는 병마직함(兵馬職銜)을 겸대하도록 하면서 중익이 되는 거진의 수령으로서 당상관은 병마절제사를 겸대하게 되었던 것이다.
군익도체제가 1457년 진관체제로 개편된 뒤에도 병마절제사는 거진의 당상관 수령이 겸하는 직책으로만 존재하였고, 『경국대전』의 규정에서는 경주와 전주의 부윤(府尹)만이 이에 해당되었으며, 제주목사는 병마·수군절제사를 겸하였다.
평양부와 함흥부는 부윤을 관찰사가 겸하는 관계로 병마절제사를 두지 않았고, 조선 중기에는 1577년(선조 10)과 1593년에 광주(廣州)와 의주가 각각 부로 승격함에 따라 그 부윤이 병마절제사를 겸하게 되었다.
이렇게 고위 군사지휘관을 문신이 겸대함에 따라 국방체제가 허술하여져, 유사시에는 중앙에서 별도로 무장을 파견하여야 하는 결과가 초래되었다.