경상북도 영천(永川) 출생으로, 본관은 영천이다. 1930년 경성제2고등보통학교를 수료하고 일본으로 유학해 1933년 리츠메이칸중학교[立命館中學校], 1936년 사가고등학교[佐賀高等學校], 1940년 동경제국대학 법문학부 법률학과를 졸업했다. 대학 재학 중이던 1939년 11월 일본 고등문관시험 사법과에 합격했다. 1940년 4월부터 조선총독부 사법관시보로 경성지방법원 및 동 검사국에서 1년 6개월 간 근무했으며, 1942년 경성지방법원 검사에 임용되었다. 1943년 12월 광주지방법원 순천지청 검사로 발령받았으며, 재직 중이던 1944년 12월 일본 천황과 황족에 대해 불경 행위를 하는 한편 정치에 관한 언사가 불온했다는 혐의로 체포된 문경호의 재판에도 참여했으며, 해방 때까지 재직했다.
해방 후 1945년 11월 광주지방법원 장흥지청 검사, 1946년 9월 경성공소원 검사, 1947년 서울고등검찰청 검사, 1948년 서울지방검찰청 차장검사 등을 지냈다. 1949년 1월 내무부 이사관에 임명되어 치안국장을 맡아 1950년 3월까지 재직했으며, 같은 달 대검찰청 검사를 맡았다. 1950년 한국전쟁이 발발하자 군에 입대하여 육군 대령으로 육군본부 민사부장에 임명되었다. 1951년 육군 준장으로 승진하여 육군법무감을 지냈으며, 1950년 6월부터 1952년까지 정전위원회 한국대표를 지냈다. 1953년 11월 육군 준장으로 예편했다.
1953년 11월 국방부 차관, 1955년 9월부터 1958년 2월까지 법무부 장관을 지냈다. 1958년 2월에는 한일회담 한국대표로 활동했다. 1960년 6월 내무부 장관에 임명되었고, 같은 해 7월 국무원 사무처장을 겸임하다가 8월 사임했다. 1962년 1월 서울에서 변호사를 개업했다. 1967년 6월 다시 내무부 장관에 복귀했으며, 1968년 5월에는 법무부 장관으로 옮겨, 1970년 12월까지 재임했다. 1971년 1월 주일(駐日) 대사에 임명되어 1974년 1월까지 재임했다. 1974년 합동통신 회장, 1975년 7월부터 1981년 7월까지 대한적십자사 총재를 맡았다.
1979년 3월부터 1981년 4월까지 헌법위원회 위원장을 지냈으며, 1980년 10월부터 1981년 4월까지 국가보위입법회의 의장을 지냈다. 이후 1981년부터는 국정자문위원으로 활동했고, 1982년부터는 사단법인 대한노인회 회장을 지냈다. 1983년부터 1987년까지 선인학원 이사장을 지냈다. 1997년 5월 24일 사망했다. 1968년 경희대학교에서 명예 법학박사 학위를 취득했다. 1981년 8월 대한민국 정부로부터 국민훈장 무궁화장, 일본 정부로부터 훈일등욱일대수장(勳一等旭日大綬章)을 받았다.