병권을 담당하는 병부(兵部)에 소속되었다. 병부는 다른 중앙관서가 5등관제(五等官制)였던 것과는 달리 6등관제였는데, 그 중 사병은 제4등관에 해당된다. 672년(문무왕 12)에 병부의 관원을 확대 정비하면서부터 처음으로 두어졌으며, 설치 당시에는 노사지(弩舍知)라 하였으나, 그 뒤 경덕왕 때 한화정책(漢化政策)에 따라 관명·지명 등을 중국식으로 고치면서 사병이라 하였다.
혜공왕 때에는 복고정책에 따라 다시 노사지로 환원되었다. 따라서 경덕왕대에서 혜공왕대에 걸쳐서만 사용된 직명인 셈이다. 관원은 1인이며, 취임할 수 있는 관등범위는 경위(京位) 12등 대사(大舍)에서 13등 사지(舍知)까지였다.