1917년 함경북도 경원에서 출생했다. 호는 청사(淸史)이며, 1924년 경원보통학교 입학, 1930년 영신중학교 입학, 1934년 광명중학교를 졸업했다. 1935년 일본이 만주국(滿洲國)에 세운 초급장교 양성기관인 중앙육군훈련처(봉천군관학교 5기)에 합격, 1937년 졸업한 뒤 일본 육군사관학교 유학생으로 과정을 마치고, 1940년일본육군사관학교를 졸업하였다. 일본군에서는 일본의 식민지 군대인 만주국군(滿洲國軍)의 대위까지 진급하였다. 1942년 모교인 광명중학교를 방문해 후배들에게 만주국 군관으로 입대할 것을 권유했다.
해방 후 귀국하여 미군정 당국이 설립한 군사영어학교에 입학했으며, 1946년 졸업과 동시에 한국 육군의 전신인 조선국방경비대의 정위(正尉:대위에 해당함)로 임관하였다. 1946년 12월에 경비대 제4연대의 연대장이 되었다. 1948년 8월 대한민국정부수립 이후 경비대가 대한민국 육군으로 확대 개편되면서 짧은 기간중에 급속히 진급, 1949년 2월에 육군준장이 되었고 그 해 12월 육군참모차장 겸 행정참모부장이 되었다. 6·25전쟁이 발발한 뒤 채병덕(蔡炳德) 육해공군총사령관이 전사하자, 1950년 7월 육군소장으로 진급과 동시에 육해공군총사령관에 임명되었다. 1951년에 육군중장으로 진급한 후 미국에 파견되어 미국 군참모대학에 입교해 1952년 7월에 졸업했다. 귀국 뒤 1954년 2월 육군대장으로 진급했고, 그 해 6월 육군참모총장이 되었다. 1956년 연합참모본부 총장이 되었으며, 1957년 예편되었다.
군에서 예편과 동시에 터키주재 대사로 임명되었으며, 그 뒤 1962년까지 프랑스주재 대사, 미국주재 대사, 브라질·콜롬비아·칠레·아르헨티나·파라과이·에쿠아도르 등의 겸임대사 등 외교관으로 활동했다. 5·16군사정변 세력이 민간인으로 옷을 바꿔 입고 선거를 통해 자신들의 민간정권을 수립 준비 시기인 1963년 4월 무임소 대사 자격으로 귀국한 뒤, 그 해 12월 박정희(朴正熙)정권의 외무부장관에 임명되었으며, 1964년 5월에 국무총리로 임명되었다. 그 후 1970년 12월 정인숙여인 피살사건으로 정국이 소란한 가운데 사임할 때까지 재임했으며, 1966년 12월부터 1967년 4월까지의 기간 중에는 외무부장관을 겸임했다. 총리 사임과 동시에 민주공화당 총재상임고문에 임명되었으며, 1971년 7월에 실시된 제8대 국회의원선거에서 민주공화당 전국구 후보로 당선되었다.
1972년 5월박정희에 의해 민주공화당 당의장 서리에 임명되었다. 그 해 10월에 단행된 10월유신 이후 첫 번째 실시된 국회의원선거인 1973년 2월 제9대 국회의원선거에서 강원도 속초·인제·고성·양양 선거구에서 민주공화당 후보로 입후보해 당선되었다. 제9대 국회의 개원과 함께 국회의장에 선출되었으며, 유신체제하에서 1979년까지 국회의장직을 계속 맡았다. 1979년 2월에 실시된 제10대 국회의원선거에서 민주공화당 후보로 입후보해 당선되었다. 같은 해 민주공화당총재 상임고문과 한일의원연맹회장에 임명되었으며, 1980년 5·17사태로 국회와 정당이 해산되는 것을 계기로 정계에서 은퇴했다. 전두환(全斗煥)·노태우(盧太愚) 정권에서는 국정자문위원, 자유수호구국총연합회 회장, 한일협회 회장 등으로 활동했고, 1989년 2월에는 한국자유총연맹(韓國自由總聯盟)의 발기인 및 총재 등 관변단체의 장을 맡기도 했다. 1992년에는 민주자유당 상임고문에 임명되었다. 1994년 1월 17일 하와이에서 사망했다.
1950년 을지무공훈장, 1951년 태극무공훈장, 1963년 수교훈장 흥인장, 1969년 정조근정훈장 등을 받았다.