국무위원인 장관과 그 밑에 정무직으로 차관을 두었으며, 보좌기관인 공보관·비상계획관·복무감사관과 보조기관인 기획관리실·의정국·인사국·조직국·능률국이 있었다.
한편, 소속기관으로는 공무원의 징계처분, 기타 그 의사에 반하는 불리한 처분에 대한 소청의 심사·결정 및 그 재심청구사건의 심사·결정을 하는 소청심사위원회, 정부의 영구보존문서 등 중요한 기록물의 수집·보존 및 열람업무를 관장하는 정부기록보존소, 전자조직에 의하여 행정업무처리의 과학화에 관한 업무를 관장하는 정부전자계산소, 정부에 대한 민원을 접수하고 상담처리하는 정부합동민원실, 정부청사의 수급계획·보수·유지·관리를 관장하는 정부청사관리소, 국가·지방공무원 및 위탁받은 기업체의 직원에 대한 교육훈련을 실시하는 중앙공무원교육원 및 행정기관과 정부투자기관의 제도개선을 위해 조사, 연구하는 행정조사연구실을 두고 있었다.
연혁을 보면 1948년 8월 「정부조직법」에 따라 국무원의 서무·회계·문서·인사·영예수여에 관한 사항 및 기타 다른 부처의 주관에 속하지 않는 사항을 담당하기 위하여 국무총리 소속하에 총무처를 설치하였다. 하부조직으로 처장 밑에 차장이 있고, 그 밑에 1개 실과 3개 국(비서실·인사국·상훈국·경리국)이 있었다.
1955년 2월 제2차 헌법개정에 따라 국무총리제도가 폐지되었으므로 같은 해 2월 「정부조직법」의 개정으로 총무처는 국무원사무국(國務院事務局)으로 축소, 개편되었는데 그 하부조직은 8개 과로 구성되었다. 4·19혁명 이후 「정부조직법」의 개정으로 국무원사무국은 국무원사무처로 승격하게 되어 처장 밑에 차장 2인을 두고, 그 밑에 총무국·인사국·법제국·공보국 및 방송관리국의 5개 국을 두었다.
1961년 6월 국무원의 권한을 내각이 행하게 되어 국무원사무처는 내각사무처로 개편되었는데, 국무원사무처의 공보국과 방송관리국이 폐지되어 신설된 공보부로 이관되었으며, 그 대신 행정관리국이 신설되었다. 그리고 1961년 10월 법제처가 발족됨에 따라 법제국이 폐지되었다. 그 뒤 1963년 12월 내각사무처는 총무처로 개편되었는데, 장관 밑에 차관·기획관리관과 총무국·인사국·행정관리국 등의 3개 국을 두는 한편, 「국가공무원법」의 개정으로 총무처에 소청심사위원회가 설치되었다.
1967년 4월 연금국(年金局)이 신설되었고, 기획관리관이 기획관리실로 개편되었다. 그 뒤 1개 실·4개 국이 근간을 유지해오다가, 1982년 12월 공무원연금 관리업무가 공무원연금관리공단으로 이관됨에 따라 연금국이 폐지되고 후생국이 신설되었다. 1991년 8월 급변하는 국내·외 행정환경과 새로운 행정수요에 능동적으로 대처하기 위하여 후생국을 폐지하고 연금 및 보수기능을 인사국에 흡수하고 고시훈련국을 신설하였다.
또 21세기의 효율적인 국가수행지원체제를 구축하기 위해 행정관리국을 조직국과 능률국으로 개편하고 총무국을 의정국으로 개칭하였다. 1994년 4월 「행정규제 및 민원사무기본법」의 제정 「공직자윤리법」의 개정 등으로 복무감사관 밑에 윤리담당기관 1인을 신설하고 고시훈련국을 폐지하였다. 1998년 2월 28일 지방자치를 강화하고 중앙정부조직축소를 위한 「정부조직법」 개정에 따라내무부와 통폐합되어 행정자치부로 개편되었다. →행정자치부