1921년 9월 15일 경상북도 달성 출생으로, 1943년 9월 일본 주오대[中央大] 법학과를 졸업했다. 1943년 7월 고등문관시험 사법과에 합격했고, 1945년 4월 일본 변호사 시험에 합격했다.
해방 후 귀국해 1946년 대구지검 검사로 검찰 생활을 시작했다. 한국전쟁 중 피난 수도 부산에서 부산지검 차장검사, 1954년 9월 서울지검 차장검사, 1956년 9월 법무부 검찰국장을 거쳐 40세가 되기 전인 1958년 서울지검장이 되었다.
4·19 이후 1960년 9월 서울지검장에서 물러나 변호사 생활을 시작했다. 10년 간의 변호사 생활 후 1970년 1월 중앙정보부 차장에 임명되었다. 중앙정보부 차장 시절인 1973년 8월 ‘김대중 납치사건’이 일어났으며, 1973년 10월에는 ‘유럽거점 간첩단 사건’을 발표하기도 했다.
1973년 12월 제13대 검찰총장이 되었으며, 검찰총장 재직 중이던 1974년 4월 ‘인혁당 재건위 사건’이 일어나기도 했다. 1975년 12월 제37대 내무부 장관이 되었으며, 내무부 장관 시절 새마을운동의 주무 장관으로 특히 농촌 주택개량운동에 노력을 기울였다. 또한 1976년 치안본부 소속 남영동 대공분실(보안분실)을 만들었으며, 치안본부 특수수사대를 사직동팀(특수 1대)과 신길동팀(특수 2대)으로 분리해 사직동팀이 박정희 대통령의 특명사건을 수사하게 했다.
1978년 12월 법무부 장관이 되었으며, 1979년 12월 13일 퇴임했다. 중앙정보부 차장으로 시작해 법무부 장관으로 퇴임할 때까지 약 10년 간 박정희 정부의 권력 핵심부에 있었다.
12·12 쿠데타 이후 신군부로부터 부정축재자로 지목되어 부인과 아들 명의로 된 서울과 경기도 소재 4만 4000여 평의 임야 등 부동산을 몰수당했으나 2003년 소송을 통해 1000억 원대의 부동산을 되돌려 받기도 했다. 2009년 사망했다.