1970년대 중반 이후, 중화학공업이 크게 성장하면서 기업들의 외화 자금 수요가 매우 증가하였고 이 수요를 맞추기 위하여 민간의 외국 자본 조달 창구를 새로이 마련하고, 기업에 대한 종합적인 금융 서비스를 제공하려는 목적으로 종합금융회사를 설립하였다.
1975년 12월에 공포된 「종합금융회사에 관한 법률」을 통해 종합금융회사의 법적 토대가 만들어졌다. 종합금융회사는 영국의 머천트 뱅크(merchant bank)와 미국의 인베스트먼트 뱅크(investment bank)를 모델로 하여 한국 실정에 맞게 중장기 설비 금융의 기능을 혼합한 기업 금융 전문 금융기관이었다. 종합금융회사는 법률에 규정되어 있는 기본 업무와 시행령(施行令)이 정한 부수 업무, 그리고 그 밖의 겸영(兼營) 업무를 관련 법률에 따라 인가(認可)를 받아 취급할 수 있다. 종합금융회사의 주 업무는 단기 금융 업무, 국제 금융 업무, 채권(債券) 발행 및 증권(證券) 업무라고 할 수 있다. 특히 종합금융회사 설립의 중요한 목적이기도 하였던 국제 금융 업무는 1997년 말, 금융 · 외환위기 발생 이후 종합금융회사의 신용도가 저하되고 다수의 종합금융회사가 퇴출되면서 외국 자본의 도입이 대폭 감소함에 따라 그 업무의 비중도 매우 축소되었다. 한편 「자본시장과 금융투자업에 관한 법률(속칭 자본시장통합법)」이 제정되면서 「종합금융회사에 관한 법률」은 폐지되었고, 종합금융회사에 대한 규율은 자본시장통합법 제6편 제4장에서 규율하고 있으며 동 법에서 신규 인가에 관한 규정을 두지 않아, 더 이상 새로운 종합금융회사를 만들 수 없게 되었다.
최초의 종합금융회사로 한국종합금융이 1976년 4월에 설립되었으며 1979년까지 추가로 5개의 종합금융회사가 설립되어 1990년대 초반까지 6개의 회사 체제가 유지되었다. 이들 선발 종합금융회사는 모두 외국 금융기관과 국내 대기업 또는 국내 금융기관과의 합작 회사였다. 1990년대에 들어서는 「단기 금융업법(短期金融業法)」에 의해 설립된 투자금융회사(投資金融會社)의 구조 조정이 필요하게 되어 「금융기관의 합병 및 전환에 관한 법률」을 1991년에 제정하여 투자금융회사가 종합금융회사로 전환하게 되었다. 그 결과, 1997년 말에는 종합금융회사가 30개나 난립하면서 과당 경쟁(過當競爭)이 벌어졌고 무모한 자산 확장 등으로 부실해진 종합금융회사들이 1997년 금융 · 외환위기의 주범으로 지목되었다. 금융 · 외환위기 이후 종합금융회사에 대한 구조 조정이 추진됨에 따라 1998년에 16개 부실 종합금융회사가 퇴출되었고, 이어서 추가로 1999년부터 2003년의 기간 중 13개 사가 퇴출되거나 합병되었다. 2023년 10월 말, 현재 전업 종합금융회사는 우리종합금융 1개 사만 남아 있고 신한 · 외환은행 등 2개의 겸영 은행 계열 종합금융회사가 합병되면서 전업 종합금융회사는 종합 금융업 면허를 보유하고는 있으나 종금 계정(綜金計定)을 통한 업무 비중은 그다지 크지 않은 실정이다.
원활한 외국 자본의 도입, 선진적인 기업 금융 서비스의 제공 등을 목적으로 설립된 종합금융회사는 그 목적에 부합하는 역할을 어느 정도 해 왔다. 그러나 리스크 관리의 실패로 1997년 금융 · 외환위기 이후 대규모 구조 조정을 거친 이래, 현재는 1개의 전업 종합금융회사만 남아 사실상 시장에서 영향력이 거의 사라진 금융기관이 되었다.