1945년 11월 조선금속노동조합이 결성되어 활동하다가, 1959년 3월 전국금속노동조합연맹이 부산지역 철공노동조합을 중심으로 결성되었다. 1960년 10월 부산의 대한조선공사를 주축으로 한국금속노동조합연맹이 결성되었고, 같은 해 제3의 노조가 인천중공업을 주축으로 전국철강노동조합연맹을 결성하였다. 1961년 군사쿠데타로 노동조합의 해체와 재결성이 이루어지면서, 같은 해 8월 25일 인천중공업, 대한중기, 삼양산업 등의 참여로 조합원 수 609명으로 전국금속노동조합이 창립되었다.
1980년 12월 30일 공포된 『노동조합법』 개정에 따라 1981년 2월 23일 전국금속노동조합을 전국금속노동조합연맹으로 개편하였다. 이 단체는 1987년 6월 민주항쟁과 7, 8, 9월의 ‘노동자 대투쟁’에 참여하였고, 1992년 3월 총액 임금제 저지투쟁, 1996년 12월 ‘날치기 노동법’ 원천무효 총파업을 하였다. 2001년에는 한국노총 제조부문 노동조합 연대회의(KMCS)의 결성에 참여하였고, 2007년 연맹 산하 14개 노조가 산별노조로의 전환을 결의하였다.
2017년 기준, 16개 지역본부가 있으며 본조와 지부를 포함하여 480개 노조와 13만명 조합원이 가입 되어있다. 가맹 노조 업종은 각종 기계류 및 기기류, 자동차, 항공기 등 운송용 기계기구, 제련, 제철, 제강, 주조, 조선, 중기, 비철금속, 귀금속, 경금속분야 등이다.