1996년 1월 5일 경제장관회의에서 설립을 추진해서 같은 해 2월 9일 「정부조직법」을 개정하여 공업진흥청을 폐지하고 중소기업청(中小企業廳)을 신설하였다. 직제는 1관 5국 19과 7담당관으로 구성되어 있었다.
주요 담당업무는 기획관리관실에는 중소기업 시책의 종합 · 조정, 국회관계업무, 예산, 조직 · 행정관리, 법무총괄, 지방청(사무소) 및 산하단체에 대한 업무협조, 중소기업에 관한 실태조사, 불공정한 거래 개선, 중소기업 관련 행정규제 완화, 전산통계 업무 등 중소기업청의 각 국 · 과가 중소기업 시책을 원활히 수립 · 집행할 수 있도록 지원하는 업무를 담당하였다.
지원총괄국에서는 중소기업의 국제경쟁력을 높이기 위한 구조개선, 협동화, 창업, 경영혁신 교육과 중소기업 경영안정을 위한 인력, 입지, 판로 지원 및 중소기업의 해외투자, 해외시장 개척, 수출기업화 사업에 대한 지원업무를 담당하였다.
기술국에서는 중소기업의 기술경쟁력 향상을 위해 중소기업 기술개발 지원, 기업간 기술협력 지원, 국제협력을 통한 기술향상 지원, 경영 · 기술상의 애로에 대한 지도사업, 중소기업에 대한 기술 수요 조사 및 기술력 평가 등의 업무를 담당하였다.
산업1국에서는 기계, 금속, 철강, 전기, 전자공업 및 연관서비스업을 하는 중소기업에 대하여 각종 동향 분석, 구조 개선, 기술력 향상, 판로 확대, 창업 · 사업 전환, 협동화 사업 등에 대한 지원 및 대기업과의 협력증진과 공정거래에 관한 사항을 처리하고, 중소기업의 경영애로를 해소하는 업무를 담당하였다.
산업2국에서는 섬유 · 플라스틱 · 시멘트 · 피혁 · 신발 · 가구 · 레저용품 등을 생산하는 중소기업에 대하여 각종 동향 분석, 자동화 · 정보화 등의 구조 개선 사업, 협동화사업, 경쟁력 상실업체의 사업 전환 및 합병 유도, 중소기업 영역 보호 등의 업무를 담당하였다.
유통업국에서는 재래시장, 중소도매업, 중소 종합소매업 및 전문소매업 등을 하는 중소기업에 대해 시장재개발, 점포시설 현대화, 공동창고 건립, 유통정보화 등 경영현대화 및 조직화 · 협업화를 위한 지원업무를 담당하였다.
1998년 2월 28일 중소기업정책 기능을 보강하기 위해서 업종별 · 기능별 조직을 기능별 조직으로 전면 개편하여 공보담당관 · 감사담당관 · 총무과 · 기획관리실 · 중소기업정책국 · 경영지원국 · 벤처기업국 · 기술지원국 · 판로지원국을 두고 있다.
소속기관으로는 지방중소기업청(부산 · 울산, 대구 · 경북, 광주 · 전남, 대전 · 충남 등) 지방사무소(인천 · 경기 · 강원 · 충북 · 전북 · 경남 · 제주 등)를 두고 있다.
이곳에서는 주로 중소기업 애로 상담, 중소기업진흥공단지부 · 금융기관 등 지역 내 중소기업 유관기관과의 업무협조, 지역 내 중소기업에 대한 기술정보의 제공, 시험결과 설비이용의 지원, 공산품 및 공업재료에 관한 시험 · 분석 · 검사 및 감정, 계량기 · 계측기 검정 등의 업무를 담당하고 있다.
2017년 7월 시행된 「정부조직법 개정안」에 따라 중소기업청은 중소벤처기업부로 승격되었다. 1차관 4실 13관 41과로 조직되었으며 산하에 12개 지방청이 있다.