1960년 4·19혁명의 영향으로 그 해 7월 23일 조흥은행, 상업은행, 제일은행, 한일은행, 서울은행 등 5개 시중 은행 단위 노조를 기반으로 전국은행노동조합연합회가 발족하였다. 하지만 1961년 5·16 군사쿠데타로 강제 해산 당하였다가, 그 해 8월 19일 산업별 노조체제인 전국금융노동조합으로 재건되어 20년간 활동해 왔다. 1980년 말 신군부의 산업별 노조 해체로 1981년 2월 24일 기업별 노동조합 연합체인 전국금융노동조합연맹으로 개편되었다.
1997년 IMF 외환위기로 사상 초유의 은행 퇴출과 대량 해고에 대응하여 1998년 9월 금융노조는 파업을 하였고, 기업별 노조의 한계를 극복하기 위해 2000년 3월 3일 한국 최대 산별 노조인 전국금융산업노동조합으로 재탄생하였다. 산별 노조체계로 전환한 후 2000년 7월 11일 전국금융산업노동조합 총파업을 벌였다. 이 총파업은 관치금융 청산이라는 사회적 책무를 내걸었고, 전국금융산업노동조합은 정부와 협상을 통해 일정한 성과를 거두었다. 이는 산업별 노조 최초로 정부와 협상을 벌여 일방적인 정부 정책의 방향을 수정시킨 것이었다. 2000년 12월에는 국민은행과 주택은행의 강제합병을 저지하기 위해 파업을 벌였지만, 이후 두 은행의 합병이 이루어졌다. 2002년에는 전 산업부문 최초로 ‘주5일 노동제’를 시행하게 되었으며, 2003년 6월 조흥은행 매각에 반대하는 파업투쟁을 하였고, 2004년 6월에도 한미은행 상장폐지에 반대하여 파업투쟁을 하였다. 금융노조의 파업투쟁은 정부의 금융산업 정책에 관한 것이 대부분을 차지한다. 특히 2011년 현재 금융노조는 미국에서 시작된 세계적 금융위기에서 입증된 것처럼 공기업 민영화와 금융 산업화, 거대화에 대하여 비판적 입장을 취하고 있다.
전국금융산업노동조합은 2016년 현재 35개 단위 조직의 조합원 10만 7405명이 가입하고 있으며, 금융경제연구소를 운영하고 있다. 기관지로는 1962년 이래 『금융노조』를 격월간으로 간행하고 있다.