김종필의 둘째 형으로, 충청남도 부여에서 출생했다. 1968년 한양대학교 법정대학을 졸업하고 1969년 서울대학교 경영대학원을 수료하였다. 삼량진중학교 교감을 지내다가 교직을 은퇴하였다.
1962년부터 경제문제연구회 회장으로 활동했으며, 1964년에는 대한학교체육회 회장, 1965년에는 삼원농산(三原農産) 회장을 역임했다. 학교체육회 회장을 역임하면서 각급 학교체육회를 대한학교체육회 관할로 통합하였고, 1967년 건강상의 이유로 학교체육회 회장을 사퇴하였다.
1968년 6월 2일 동생인 김종필이 의원직을 상실하자 같은해 9월 24일 김종필의 지역구였던 부여에서 치러진 재보궐 선거에 출마해 신민당의 임철호(任哲鎬) 후보를 꺾고 당선되었다. 동시에 공화당의 부여지구당 위원장도 승계했다. 하지만 공화당 중앙당이 선거대책위원회의 자문과 당무위원회의 결정을 거치지 않고 공천을 했기 때문에 선거무효소송에 휘말렸고, 의원재직시 대통령 3선개헌안에 찬성하였다.
1971년과 1973년 각각 재선에 성공했다. 1974년 7월 12일 보령에서 교통사고를 당해 중상을 입었다. 1976년에는 공화당 중앙위원회 부위원장이 되었다. 1979년 국회의원 선거에서 낙선한 뒤 부여지구당위원장을 사퇴했다. 후임 위원장은 김종필이 선출되었다.
5공화국 출범이후 정치활동이 제한되었으나 1984년 12월 18일 민족중흥동지회(民族中興同志會) 발족에 참여하여 박정희 전 대통령 추모사업등을 전개하면서 정치활동을 재개했고, 김종필이 민주공화당을 창당하자 발기인으로 참여하여, 충청남도의 당 조직을 담당했다. 2002년 2월 20일 서울 보훈병원에서 노환으로 별세하여 부여군 가족묘지에 안장되었다.