516년(법흥왕 3) 혹은 그 이듬해에 설치되어 군사에 관한 사무를 총괄하였다. 그 뒤 신라의 군사적 발전과 더불어 꾸준히 확장, 발전하여 그 장관직인 영(令)은 최초 1명이었다가, 544년(진흥왕 5)에 1명, 659년(태종무열왕 6)에 다시 1명이 늘어나 모두 3명이 되었다. 다만 삼국통일 후 1명으로 감원되었을 것이라는 견해도 있다.
이 병부령은 상고의 대보(大輔)직에서 기원한다는 견해도 있는데, 관등이 대아찬 이상 태대각간(太大角干)까지인 자로서 임명하였으며, 또한 재상·사신(私臣)을 겸할 수 있었다.
하대에는 상대등으로 진출하는 하나의 경로가 되었다. 그밖에 관원으로 대감(大監) 3명, 제감(弟監) 2명, 노사지(弩舍知) 1명, 사(史) 17명, 노당(弩幢) 1명을 두었다.