헌병제도는 육군참장(陸軍參將) 백성기(白性基)의 건의가 받아들여져 1900년 6월 30일 「육군헌병조례」가 반포됨으로써 창설되었다.
헌병대는 사령부·본부·중대·소대로 편제되었으며, 조사경찰·행정경찰·사법경찰의 기능을 하였다. 헌병사령부는 원수부(元帥府)에 속하였고, 서울에 위치하였으며, 서울 및 각 지방에는 긴급한 일이 발생할 경우에 한해 헌병대를 설치하도록 하였다.
사령부에는 정령(正領)이나 참장으로 임명되는 사령관과 정위(正尉)로 임명되는 부관, 그리고 향관(餉官) 1명, 서기 4명 등 7명의 직원을 두었다.
헌병대본부는 대장 1명, 부관 1명, 서기 2명으로 구성되었으며, 중대는 2개 소대, 1개 소대는 4개 분대로 이루어지고 1개 중대는 92명으로 편성되었다. 초기의 헌병대는 본부와 2개 중대로 편성되었다가 1901년에는 4개 중대로, 1903년에는 5개 중대로 확장되었다.
헌병사령관은 관계 각부와 상호 협조하는 동시에 전국의 헌병대를 총할, 사령부의 사무는 물론 부하 헌병대의 군기·풍기 및 훈련·교육·복무·경찰 등을 관장하였다.
헌병대의 영관(領官)·위관(尉官)은 시위대를 제외한 각 병과에서 임용하도록 하였으며, 하사는 각 병과의 하사 및 상등병 가운데서 문산(文算)에 뛰어나고 품행이 방정하며 기민·용감한 자로 시험을 거쳐 선발하였다.
대한제국의 현실적인 필요에 의해 만들어졌으나, 1905년 4월 일제에 의해 군대가 감축될 때 사령부·본부·구대(區隊: 1구대의 인원은 41명)로 편제가 바뀌게 되었다. 통감부가 설치된 이후에는 일제가 그들의 헌병경찰제를 공식화하면서 유명무실하게 되었고, 1907년 군대해산 때 폐지되었다.