전국의 금융조합·산업조합·어업조합을 회원으로 하여 창설되었다. 1907년 5월 「지방금융조합규칙」이 제정되어 각 지방에 처음으로 농촌금융기관인 지방금융조합이 설립되었다.
1918년 6월 「금융조합령」이 제정되어, 지방금융조합의 명칭이 금융조합으로 바뀌면서 도시에도 금융조합 설치가 허용되는 한편, 조합원 자격제한 요건도 대폭 완화되어 농민이 아닌 사람도 가입할 수 있게 되었다. 그래서 각 도 단위로 금융조합연합회가 조직되었다.
금융조합연합회는 도내의 금융조합원을 회원으로 하고 이들 회원의 업무를 지원, 지도 감독하였다. 그리고 조선총독부로부터 130만원의 저리자금을 대여받고, 또한 조선식산은행으로부터 자금을 차입하여 산하 각 금융조합에 융자하여 자금을 지원하였다.
1928년 9월 각 도의 금융조합연합회 상호간에 유대를 긴밀히 하기 위해 조선금융조합협회가 조직되었다. 그러나 중앙기관으로서 기능을 수행하는데 있어서 운영이 순조롭지 못하여, 1933년 8월 조선금융조합연합회의 창립과 동시에 해체되었다.
이 단체는 각 도의 금융조합연합회를 흡수, 도지부로 개편하여 도와 각 지방 말단까지를 통할하는 조직체계를 확립하였다. 주요 업무는 각 도지부간 자금의 상호융통을 도모하여 자금계통을 정비하고, 금리를 통일시키며, 금융채권을 발행하는 것 등이었다. 그리고 이를 통해 회원을 통괄 지도 감독하였다.
1945년 당시 산하에 912개소의 단위조합을 가지고 있었다. 또한 단위조합의 하부조직으로 전국에 3만 4,345개의 식산계(殖産契)를 가지고 있어, 식민지하에서 가장 방대한 계통조직망을 가진 금융기관이었다.
그래서 일본제국주의는 이를 이용하여 식민지 농촌금융정책을 수행해 나갔다. 그러므로 일본제국주의의 식민지 관부(官府)인 조선총독부가 창안해 낸 가장 효율적인 금융지배수탈기관이었다.