행정심판위원회는 행정심판의 청구를 수리하고 이를 심리·의결할 수 있는 권한을 가지며, 국무총리행정심판위원회, 처분청소속 행정심판위원회와 시, 도행정심판위원회, 직근 상급행정기관 소속 행정심판위원회가 있다.
국무총리행정심판위원회는 국민권익위원회에 소속되어 있으며 특별시장, 광역시장, 도지사, 제주특별자치도지사(교육감 포함)의 처분이나 부작위, 그 밖에 국무총리나 중앙행정기관이 직근 상급행정기관이나 소관 감독 행정기관에 해당하는 처분이나 부작위, 「정부조직법」 제3조 또는 다른 법률의 규정에 따라 설치된 국가특별지방행정기관(대통령령으로 정하는 중앙행정기관에 소속된 국가특별지방행정기관 제외)의 처분 또는 부작위, 국무총리나 행정 각 부 장관의 처분 또는 부작위 등에 대한 심판청구를 심리·재결한다.
위원은 모두 50인으로 위원장은 국민권익위원회 부위원장이며, 대통령이 임명하는 상임위원 2인과 국무총리가 위촉·지명하는 위원 47인으로 구성되어 있다. 상임위원은 별정직 국가공무원으로 임명하되, 3급 이상 공무원 또는 고위공무원단에 속하는 일반직 공무원으로 3년 이상 근무한 사람이나 그 밖에 행정심판에 관한 지식과 경험이 풍부한 사람 중에서 중앙행정심판위원회 위원장의 제청으로 국무총리를 거쳐 대통령이 임명한다. 비상임위원은 「행정심판법」 제7조 제4항 각 호의 어느 하나에 해당하는 사람 중에서 중앙행정심판위원회 위원장의 제청으로 국무총리가 위촉한다.
국무총리행정심판위원회는 공정하고 객관적인 심리를 위하여 처분청으로부터 완전히 독립되어 운영되고 있다. 또한 매 회의에 참석하는 위원 중 과반수 이상을 공무원이 아닌 변호사·교수 기타 전문가 등 민간위원이 참석하도록 하여 심리의 객관성을 유지하며, 사건 분야별 전문위원회를 구성하여 다양한 사건에 대한 전문적이고 심도있는 심리를 하기 위해 노력하고 있다.
1964년 9월 10일 소원심의회규정의 제정으로 국무총리소원심의회를 설치하였다. 1984년 12월 15일 「행정심판법」을 제정하였고, 1985년 10월 1일 「행정심판법」의 시행으로 「소원법」 및 「소원심의규정」을 폐지하여 오늘날에 이르고 있다. 2008년의 「행정심판법」 5차 개정에서 국무총리행정심판위원회, 국민고충처리위원회, 국가청렴위원회를 통합하여 행정심판사건과 고충민원 등의 창구를 일원화하기 위한 국민권익위원회를 설치함에 따라 국무총리행정심판위원회의 설치·구성을 변경하였다. 그리고 2010년 1월 25일 「행정심판법」 전부개정법이 공포되어 2010년 7월 26일부터 시행되어 국무총리행정심판위원회의 명칭이 중앙행정심판위원회로 변경되었다.
2010년 7월부터 국무총리행정심판위원회의 명칭이 중앙행정심판위원회로 바뀌게 된다. 따라서 명칭으로 인해 발생하였던 소관사무범위의 혼동을 줄일 수 있어 행정심판 총괄기관으로서의 역할을 할 것이라 기대된다.