1987년 6월항쟁 이후 정계 복귀를 선언한 김종필은 1987년 10월 30일 신민주공화당을 창당하였다. 신민주공화당은 1988년 제13대 총선에서 35석을 얻어 제4당의 지위를 확보하고 1990년 2월 민주정의당, 통일민주당과 합당해 민주자유당을 창당하였다.
민주자유당에서 공화계를 구성한 이들은 1992년 5월 대통령 후보 경선에서 민주계인 김영삼을 지지했고, 대통령 후보로 선출된 김영삼은 그해 말 치러진 제14대 대선에서 김대중 후보를 누르고 당선되었다. 그러나 집권 후 당내 주류인 민주계가 개혁 정권에 어울리지 않는 구시대 인사라 하여 김종필의 퇴진을 요구하자 공화계는 민주자유당을 탈당하고 1995년 3월 30일 자유민주연합을 창당하였다.
보수 세력의 대변자를 자임하며 내각책임제 추진을 제1강령으로 내세운 자유민주연합은 1995년 6월 26일 제1회 지방선거에서 충청도와 강원도 지역을 석권하였다. 충청도의 지역 감정을 자극하고 '원조 보수론'을 내세운 것이 주효하였다.
1996년 제15대 총선에서도 충청권을 중심으로 다수 의원을 당선시켜 50석을 획득하였다. 원내 제3당의 지위를 차지한 자유민주연합은 1997년 제15대 대선을 앞두고 새정치국민회의의 김대중 총재로 후보를 단일화하기로 합의하였다. 조건은 내각제 개헌과 집권 후 공동 내각 구성이었다. 이후 김대중 후보가 대선에서 당선됨으로써 자유민주연합은 공동 여당이 되었다.
국민의 정부 출범 후 자유민주연합은 김종필, 박태준, 이한동 등 3명의 국무총리를 배출하고 다수의 인사들을 내각에 입각시켰다. 또한 1998년 제2회 지방선거에서 새정치국민회의와 전 지역에서 후보를 단일화해 충청권은 물론 인천광역시에서도 승리를 거뒀다.
그러나 1999년부터 내각제 개헌과 햇볕 정책, 재벌 개혁 등을 둘러싸고 새정치국민회의와의 사이에서 갈등이 빚어졌고, 결국 김대중 대통령과 김종필 총리는 내각제 개헌 추진을 포기하기로 합의하였다. 더구나 2000년 제16대 총선에서 양당의 연합 공천이 무산됨으로써 자유민주연합은 17명을 당선시키는 데 그쳤다.
총선 직전 새천년민주당으로 이름을 바꾼 새정치국민회의 측이 의원 꿔주기를 하여 원내교섭단체 등록은 할 수 있었지만, 2001년 한나라당이 제출한 임동원 통일부장관 해임 결의안에 자유민주연합이 찬성하면서 양당의 연합은 붕괴하였다.
이후 자유민주연합은 2002년 제3회 지방선거에서 충청권에서조차 한나라당에게 참패를 당하였다. 또한 2004년 탄핵 열풍 속에서 치러진 제17대 총선에는 4석을 얻는 데 그쳤다. 선거가 끝난 뒤 김종필은 총재직을 사임하고 정계에서 은퇴하였다.
김종필의 탈당으로 구심점을 잃은 자유민주연합은 부총재이자 충남지사인 심대평이 중부권 신당인 국민중심당 창당에 나서면서 붕괴 단계에 직면하였다. 결국 2006년 2월 20일 잔류파가 한나라당과의 합당을 발표함으로써 자유민주연합은 11년 만에 역사 속으로 사라졌다.
자유민주연합은 1998년부터 2001년까지 국민의 정부의 공동 여당으로서 의원내각제를 공식 표방하였다. 또한 민주화 이후 3김 정치를 기반으로 지역주의가 부활하는 가운데 충청 지역의 맹주 역할을 담당하였다. 자유민주연합에서 시작된 충청 지역주의에 기초한 정당 흐름은 국민중심당과 자유선진당 등을 거쳐 2010년대까지 계속되었다.