1963년 국가재건최고회의를 거쳐 전문 개정된 국가공무원법은 공무원 인사의 공정성을 보장하기 위한 방안의 하나로 인사위원회를 설치하여 인사행정에 관한 기본계획의 수립 등을 관장하도록 하였다.
그러나 당시의 인사위원회는 단순한 내각사무처장(총무처장관)의 자문기관으로서 비상설 기관이었기 때문에 공무원 인사행정의 합리성 확립에 별다른 기여를 하지 못하였다. 뿐만 아니라 이 유명무실한 위원회는 1973년 비상국무회의에서 국가공무원법이 개정될 때 폐지되었다.
그런데 종전의 독임제행정기관인 행정자치부장관(내각사무처장, 총무처장관)이 인사행정을 관장하므로 ① 중립성을 보장할 수 없고, ② 다른 업무 때문에 인사행정업무에 전념할 수 없으며, ③ 당해 조직 내에 인사행정전문가가 양성되는 데 지장이 있다는 주장이 제기되었다.
이에 1999년 5월 국가공무원에 대한 인사행정의 전문성을 강화하고 공무원 인사제도를 효과적으로 개혁하기 위하여 독립된 중앙행정기관으로 중앙인사위원회를 설치하기 위한 국가공무원법의 개정이 있었다.
이에 따라 중앙인사위원회는 ① 국가공무원의 인사정책 및 인사행정 운영의 기본 방침에 관한 사항, ② 공무원의 임용 및 보수에 관한 법령의 제정·개폐, ③ 1급 내지 3급 공무원의 채용 및 1급 내지 3급 공무원으로의 승진 기준 및 절차에 관한 사항을 관장하게 되었다.
위원회는 위원장 1인(장관급), 상임위원(1급 상당) 1인 및 3인 이내의 비상임위원으로 구성한다. 위원회의 사무를 처리하기 위하여 사무처를 두되 사무처장은 상임위원이 겸임하도록 하고 있고 사무처에 인사정책심의관(국장급) 1인과 기획총괄과·인사정책과·급여정책과 및 직무분석과를 두고 있다.
공무원 인사에 관한 업무를 대통령 소속하에 설치된 합의제 행정기관으로 이관한 것은 종전의 문제점을 상당히 해결할 수 있는 바람직한 조치라고 볼 수 있다. 물론 이러한 제도적인 장치보다 더 중요한 것은 국가공무원 인사의 합리성을 보장하기 위한 우리 사회구성원 전체의 의지라 할 것이다.
2008년 2월 28일 정부조직법의 개편에 따라 중앙인사위원회가 폐지되고, 그 기능이 행정안전부(안전행정부) 인사실로 이관되었다가, 2014년 11월 국무총리 소속 독임제 기관으로서 인사혁신처가 신설되어 현재에 이르고 있다.