가장 넓은 의미로는 모든 5급공무원을, 넓은 의미로는 5급공무원 중 행정직의 5급국가공무원인 행정사무관·검찰사무관·출입국관리사무관·통계사무관 등과 행정직의 5급지방공무원인 지방행정사무관을, 가장 좁은 의미로는 행정직렬의 5급국가공무원인 행정사무관을 말한다.
사무관은 6급공무원으로 4년 이상 재직한 자 중에서 승진임용하거나 공무원이 아닌 자를 공개경쟁채용시험인 5급 공개경쟁채용시험(통칭 ‘행정고시’) 또는 특별채용시험에 의하여 신규임명한다. 사무관이라는 명칭은 1895년(고종 32)의 관료제도에서 통상사무관(通商事務官)이라는 명칭을 사용한 것이 그 최초라 할 수 있다.
일제강점기 때에도 사무관이라는 명칭이 사용되었으며 정부수립 후에도 1949년 11월 「공무원임용령」에서 공무원 직급으로 채택되었다. 1961년 「공무원임용령」 개정에 의하여 사무관이라는 명칭 앞에 업무분야를 명시한 행정사무관 등으로 세분하였다.
지방공무원의 경우, 1963년 12월 「지방공무원임용령」에 의하여 지방행정사무관과 지방재경사무관이 설정되었다. 사무관은 그 직위에 따라 그 직무가 다른데, 일반적으로 중앙행정기관에서는 실무기안자이고 지방행정기관에서는 기관장 또는 부서장의 직무를 맡는 경향이 있다.