1920년 충청북도 음성 출생으로, 본관은 경주, 호는 청남(淸南)이다. 충청북도 음성 삼성보통학교를 졸업한 후 일본으로 유학해 도요하시중학교[豊橋中學校]를 마치고 1944년 도요하시예비사관학교[豊橋豫備士官學校]를 졸업했다.
해방 후 귀국해 1946년 군사영어학교를 1기로 졸업하고, 대한민국 국군의 창군 멤버로 참여했다. 1953년에는 미국 육군참모대학교를 졸업했고, 국방대학원에서 행정학 석사학위를 취득했다.
1948년 육군 중령 시절 제주 4·3사건의 여파로 피살당한 박진경 사령관의 후임으로 국방경비대 제주도 사령관에 취임했고, 1949년 육군 제11연대장으로 부임했다. 제11연대장 시절 송악산 5·4전투 당시 육탄 10용사를 배출한 부대장으로 유명했으며, 이승만 대통령이 이화장에서 경무대로 이사할 때 군 차량을 지원하라는 요청을 거절했다는 일화로도 잘 알려져 있다. 한국전쟁 초기 육군 제11연대를 이끌고 고랑포 전투에 참전했으며, 제2훈련소 소장을 맡기도 했다.
1951년 육군 준장으로 헌병사령관에 임명되어 거창양민학살사건, 국민방위군 사건을 처리하기도 했다. 1952년 국방부 제1국장을 거쳐 1953년 육군사관학교 교장에 임명되었으며, 1954년에는 제8사단장으로 부임했다. 1955년 제2군 부사령관을 거쳐 1959년에는 국방연구원장으로 활동하였다. 1960년 4·19혁명 당시 계엄사령관 송요찬의 발포 명령을 만류한 것으로 알려져 있으며, 1960년 5월 육군 중장으로 진급함과 동시에 육군참모차장에 임명된 후 동년 8월 최영희 총장의 후임으로 제13대 육군참모총장에 취임했다. 육군참모총장 재직시 군의 숙정과 관련한 미국 측의 간섭을 거부한 ‘파머 사건’을 겪었고, 육군 하급 장교들의 정군 문제를 둘러싼 갈등으로 1961년 2월 사임하였다.
육군참모총장 사임 후 제2군사령관으로 자리를 옮겼으며, 1961년 6월 육군 중장으로 예편했다. 1963년 3월 국회의원 강문봉, 전규홍 등과 함께 ‘박정희 군사독재 타도’, ‘한국인은 진정한 민주주의를 지지한다’ 등의 플래카드를 들고 박정희의 군정연장 제안에 반대하는 시위를 벌이기도 했다.
예비역으로 예편할 당시 전 재산이 후생주택 한 칸 뿐이었고, 생활이 어려워 부하들이 쌀가마를 전달했을 정도로 청빈했던 군인으로도 유명하다. 군 예편 후 미국 조지워싱턴대학교(George Washington University) 대학원에 유학해 정치학을 전공했고, 1967년 10월 멕시코 대사로 임명되어 외교관 생활을 시작했다. 이후 1971년 배의환 대사의 후임으로 제6대 영국 대사로 임명되었으며, 모리셔스 대사 및 말타 대사를 겸임했다. 영국 대사직을 마친 1974년 9월 김신 장관의 후임으로 제22대 교통부 장관에 임명되었으나, 1977년 이리역 폭발 사고에 대한 책임을 지고 사임했다.
교통부 장관 사임 후에는 정치인으로 변신해 1978년 12월 제3기 유정회 의원으로 지명되어 국회의원이 되었으며, 1979년 5월에는 김종필과 함께 대통령 특사로 유럽 6개국 및 아프리카 수단공화국의 특사로 파견되기도 했다. 1980년 8월 유정회 의원직을 사퇴하고 김정렴 대사의 후임으로 제7대 일본 대사로 임명되었으며, 1985년 10월까지 근무하다가 외무부 본부대사직을 거친 후 동년 12월 대사직에서 정년퇴임했다.
이후 민주평화통일자문회의 자문위원 및 재향군인회 회장으로 활동했으며, 2002년 9월 2일 사망했다. 상훈으로는 충무무공훈장, 을지무공훈장, 수교훈장 광화장, 청조근정훈장, 미국 리존오브메리트(Legion of Merit), 일본 1등 훈장 등이 있다.