도시행정의 특수성에 대처해나가기 위한 것으로 특별시와 함께 일종의 특별행정구역제도였다. 직할시의 연혁을 역사적으로 보면, 1395년(태조 4)에 천도와 함께 한성부를 두고 도성 내외의 호구·시장·점포·가옥·전답·도로·교량·개천·하수도·탈세·순찰 및 전국적인 호적의 관리, 토지·가옥·묘지의 소송 등을 맡아 처리하였기 때문에 중앙의 형조·사헌부와 더불어 삼법사(三法司)라고 불리기도 하였다.
판윤(判尹) 1인, 서윤(庶尹) 1인 등의 관원을 두고 동서남북 중의 5부로 구분하여 그 밑에 방(坊)을 두었다. 한성부를 정부직할시로 한 목적은 당시 왕실의 안전을 위하여 수도의 주변요지에 한하여 실시되었는 데 비하여, 직할시는 제도적으로 지방자치단체에 입각하여 있었다는 점이 다르다.
직할시의 조직은 시장 밑에 부시장이 있고, 그 하부조직으로 기획관리실·감사실·내무국·재무국·보건사회국·산업국·상공운수국(부산직할시에 한함)·도시계획국·건설국·수도국·민방위국·경찰국 및 소방본부를 두고 있었다. 그 주요 업무로서 기획관리실은 시행정의 기획·조정·조직·심사분석·예산통제, 문화재의 보호와 관리, 향교·사찰·영화·연예·문화·예술·공보·선전·출판, 조례·규칙의 심사, 소송사건 및 법규의 편찬에 관한 사무를 담당하였다.
감사실은 감사 및 비위사건에 대한 조사처리에 관한 사무를 담당하고, 내무국은 서무·의전·보안, 하부행정기관의 감독, 행정구역·인사·새마을·자연보호, 선거·국민투표 등에 관한 사무를 담당하였다. 재무국은 시세·세외수입과 세무조사, 공채·기부금통제·금융·회계·결산·영선 및 재산의 관리·처분에 관한 사무를 담당한다. 보건사회국은 의무·약무·방역·공해방지·보건·위생·구호·후생·노동 및 부녀·아동에 관한 사무를 담당하고 있었다.
산업국은 농업·식량·농지·농지개량·수리·잠업·축산·수산·상업·무역·수출진흥·광업·공업·특허·전기·연료에 관한 사무 등을 담당하고, 상공운수국은 상업·무역·수출진흥·광업·공업·특허·전기·연료·관광 및 운수에 관한 사무를 담당하고 있었다.
도시계획국은 도시계획·도시정비·구역정리·건축·주택·공원·녹지·산업·지방항만·관광 및 운수에 관한 사무 등을 담당하고, 건설국은 하수도·건축·주택·도로·교량·하천·중기의 관리와 등록·검사 및 조종의 면허, 건설공사용 자재, 국토 및 자연자원의 보호·이용에 관한 사무를 담당하고 있었다.
수도국은 상수도에 관한 사무를 담당하고, 민방위국은 민방위 및 비상대책에 관한 사무를 담당하고, 경찰국은 치안 및 해양경비에 관한 사무를 담당하며, 소방본부는 소방에 관한 사무를 담당하고 있었다.
1962년 <서울특별시 행정에 관한 특별조치법>이 제정, 공포됨에 따라 서울특별시는 도와는 달리 국무총리 밑에 소속되는 특별한 지위로 격상되었고, 1963년 1월에 부산시, 1981년 7월에 대구시와 인천시, 1986년 11월에 광주시, 1989년 1월에 대전시가 각각 직할시로 승격되었다. 그 뒤 1994년 12월 <지방자치법> 개정에 다른 행정구역 개편으로 직할시는 폐지되고 광역시로 바뀌었다.