1960년대에 들어와 중소기업의 국민경제상 비중과 그 육성의 필요성에 대한 인식이 높아지면서 종래 산발적으로 취급하던 중소기업자금을 중점적으로 관리·운용할 중소기업금융을 전담할 기관의 설치가 촉구되자 정부는 1961년 7월 「중소기업은행법」을 공포하고, 그 해 8월 1일 농업은행의 도시점포를 기반으로 하여 중소기업은행을 설립하였다.
설립 당시 자본금은 정부의 일반회계에서 출자된 1억 원과 이전의 대한금융조합연합회 및 도시금융조합의 청산재산배당금에 의한 출자액 1억 원 등 합계 2억 원이었다.
그러나, 그동안 수 차례에 걸친 정부출자의 증대로 1990년 10월 말 납입자본금이 2300억 원이었다.
재원조달은 자본금·예수금·차관자금·차용금·금융채권발행 등 다양한 방법에 의존하고 있는데, 이러한 재원조달 구조는 이 은행이 정책금융 및 개발금융기관으로서의 성격과 일반 상업은행으로서의 성격을 동시에 지니고 있음을 의미한다.
금융환경의 변동에 따라 이 은행의 재원조달 양상도 크게 변천되어 설립 당시부터 1960년대 중반까지는 주로 정부의 재정자금에 의존하였다.
그러나 근래에는 중소기업의 막대한 자금수요에 비하여 자본금 및 차입금에 의한 금융지원이 한계에 부딪히게 되자 예수금 증강, 차관자금 도입, 중소기업금융채권 발행 등 자주적인 재원조성체제를 강화하고 있다.
이 은행의 주된 재원인 예수금은 창립연도인 1961년 말의 22억 700만 원에서 1990년 10월 말에는 4조 6600억 원으로 크게 늘어났다. 한편, 창립 당시 대출금규모는 28억 700만 원에 불과하였으나 1990년 10월 말 총대출금은 6조 8300억 원이었다.
조달된 재원의 운용에 있어서는 국민경제적 요청에 부응하는 정책적 우선도에 따른 선별융자를 실시함으로써 자금지원의 효율성을 제고시키고 있다.
즉, 중소기업금융의 원활화라는 고유의 목적과 국민경제적 차원에서 요청되는 경제개발에의 기여도 향상이라는 기본이념을 조화시키는 방향으로 융자의 기본방침을 설정하고 경제발전단계 및 경제환경의 변동에 따라 융자제도를 보완, 개선해왔다.
창립 초기에는 수입대체산업, 지방공업 및 수출산업의 육성에 중점적으로 자금을 지원하였으며, 최근에는 수출중소기업, 부품생산업체, 신기술개발업체 및 유망중소기업에 우선적으로 자금지원을 하였다.
이와 더불어 이 은행은 담보력이 미약한 중소기업을 위하여 신용대출을 점차 확대하고 있으며, 또한 중소기업이 발행하는 주식 및 사채를 인수함으로써 장기안정자금의 공급을 확대하여 중소기업의 가동안정과 경쟁력강화를 도모하였다.
1991년 2월 일본 동경지점을 설치하고, 1992년 9월 룩셈부르크에 현지법인을 설립하였다. 1993년 11월 홍콩지점을 설치하고, 1994년 4월 싱가포르에 지점을 설치하였으며, 1995년 7월 중국 천진사무소를 설치하였다.
1996년 2월 유럽중소기업은행(런던)지점을 개설하였으며 1997년 3월 인도네시아 자카르타 사무소를 개설하였다. 1997년 11월 정부투자기관에서 정부출자기관으로 전환되었다.
1999년 4월 기은캐피탈㈜을 설립하였다. 2003년 12월 코스닥 상장을 폐지하고 증권거래소로 이전하여 상장하였다. 2007년 3월 중국 지역 본부를 신설하고 12월에 한국경영인협회로부터 가장 신뢰받는 기업상을 수상하였다.
2012년 1월 31일 중소기업은행이 공공기관에서 해제되었었으나, 2014년 공공기관으로 재지정되어, 2019년 현재 기타 공공기관으로 분류되어 있다.
주요 업무는 ① 중소기업자에 대한 자금의 대출과 어음의 할인, ② 예금과 적금업무, ③ 중소기업자의 주식의 응모·인수 및 사채(私債)의 응모·인수·보증, ④ 내외국환업무와 보호예수(保護豫受), ⑤ 지급 승낙, ⑥ 국고대리점, ⑦ 정부·한국은행 및 기타 금융기관으로부터의 자금차입, ⑧ 정부 및 공공단체의 위탁업무, ⑨ 중소기업에 관한 외국자본의 차입, ⑩ 중소기업에 대한 조사연구와 기업지도업무 등이다.
주요 사업은 중소기업자에 대한 자금 대출, 내외국환과 보호예수 등이다.
2015년 현재 총자산은 225조 9614억 원, 자본금은 3조 2718억 원, 연간 매출액은 12조 5417억 원이다. 본사는 서울특별시 중구 을지로2가에 있다. 본사 외에 210개 국내지점과 53개 출장소가 있고, 1개의 국외지점과 2개의 국외사무소가 있다.
자회사로 ㈜아이비케이캐피탈, 아이비케이투자증권㈜, 아이비케이연금보험㈜, 아이비케이자산운용㈜ 등이 있다.