1925년 3월 18일 평안북도 삭주군 출생으로, 신의주에서 소학교를 마친 후 5년제 신의주 평강중학교를 졸업했다. 졸업 후 일본 고등정비학교를 1년 6개월간 수료하고 일본군 사병 신분으로 해방을 맞았다.
해방 후 단독으로 월남해 1948년 12월 육군사관학교 8기 특별 3반으로 입교, 1949년 3월 소위로 임관했다. 일선 소대장으로 한국전쟁에 참전해 영천전투 등을 치르던 중 다리에 관통상을 당하기도 했으나 부상 회복 후 11사단 13연대 부관으로 전투에 참여했다. 부상 중 후방에서 근무하며 대구대학 법대에 입학해 1953년 졸업했다.
1953년창원 제39사단 연대장으로 대구육군본부 인사참모부 기획과장으로 근무했으며, 1955년 창원 제39사단에서 2년간 연대장 생활을 하며 육군대학에 입교했다. 1957년 육군대학 졸업 후 1958년부터 육군대학 교관, 1960년 육군본부 군수참모부 기획과장을 역임했다. 1960년 최영희 중장에 대한 육군 영관급중견장교의 집단사퇴권고사건에 연루되었으나 무죄로 판정되었다.
1961년 중령으로 박정희 소장을 만나 5·16군사정변 사전계획부터 핵심멤버로 참여했으며, 정변 당시 KBS방송국 점령에 가담했다. 정변 직후 중앙조직행정반의 책임자로 주요정책 및 이념 수립을 맡아 국가재건비상조치법 등을 제정했다. 국가재건최고회의 법제사법위원회 위원장, 부정축재처리위원으로 헌법과 법률의 제정, 개정의 실무적인 책임을 맡았고 산하기관 개편에 참여했다. 1961년 7월 11일 국가재건최고회의 헌법심의위원회를 지휘해 10월 31일 헌법개정안을 완성했으며, 1963년 1월 육군 준장 예편 후 공화당 창당위원으로 참여했다.
1963년 2월부터 1963년 12월까지 제2대 내각사무처장과 1963년 12월부터 1969년 10월까지 제1대 총무처 장관으로 총 6년 9개월간 재임했다. 총무처 장관으로 재임하면서 1963년 4월 국가공무원법을 전면 개정하고 직업공무원제도를 정착시키고자 했으며, 공개경쟁채용시험을 관료충원의 원칙으로 정원제도, 인사고과제도 도입, 정년제도, 공무원 보수 인상, 공무원연금제도 등을 수립했다.
총무처 장관 퇴임 후인 1971년 2월 대통령 선거 지원을 위해 충청남·북도와 전라남도 지역을 맡아 유세 활동했으며, 같은 해 7월 감사원장에 임명되었다. 감사원장으로 재임하며 농협과 수협 일제 감사, 그린벨트 내 무허가 불법건축물 처리, 건설업체 10개사 담합적발, 경상남도 사천비행장 활주로공사 감사 등의 활동을 했으며, 1976년 6월 임기를 마쳤다.
1978년 12월 제10대 유정회 국회의원으로 국회에 진출했고, 10·26사건 직후인 1979년 11월 29일 국회 헌법개정특별위원회 위원 28명 중 일인으로 참여했다. 같은 해 12월 12일 유정회 자체기구인 헌법조사분과위원회 위원장에 선임되었으나 1980년 3월 10일 사임했다.
공직사임 후 정일권 총리의 권유로 1980년 덕수종합개발 명예회장 고문직을 맡았다가 1984년 7월 사임했다.
1984년 12월 민족중흥동지회 발족에 참여했으며, 1987년 공화당 상임고문을 맡았다. 이후 영풍제지 이사로 활동했다. 2011년 2월 28일 사망했으며, 저서로는 육군대학에서 출판한 『이순신장군의 조선수군사』와 회고록 『각하 우리 혁명합시다』가 있다. 상훈으로는 1등 공로훈장, 1등 근무공로훈장, 1등 보국훈장, 화랑무공훈장, 충무무공훈장 등이 있다.