1923년 경기도 화성에서 출생하였다. 1945년 경성법전을 졸업하였다. 1946년 군사영어학교를 졸업하고 강원도 춘천 8연대 창설요원, 조선경비사관학교(육사의 전신) 교관 등을 지냈다. 미 육군대학, 미프레즈노대학 경제학과 등을 졸업하였다. 연합참모본부장, 2군단장, 육군참모차장, 국방부장관특별보좌관 등을 지냈다. 1961년 육군 중장으로 예편하였다.
예편 뒤 민정당 경기 10지구당 위원장, 민정당 당무위원, 6대 국회의원(전국구), 7대 국회의원(경기도 화성, 신민당), 신민당 당무위원, 당기위원장, 8대 국회의원(경기도 화성, 신민), 신민당 사무총장, 73년 9대 국회의원 등을 지냈다. 1965년 한일회담 비준 반대투쟁을 전개하던 도중 ‘군일부반정부음모사건’에 연루된 혐의로 중앙정보부에 연행 구속되었다가 7월 22일 석방되었다.
1967년 6·8총선거 때 경기도 화성에서 출마한 김형일은 개표부정으로 처음에는 낙선되었으나 6월 17일 재검표를 실시하여 당선되었고, 상대편 후보 권오석은 선거부정혐의로 구속되었다. 1978년 6월 3일 서울시 서대문구 충정로 자택에서 뇌일혈로 사망하고 장례는 국회장으로 치러졌다.