1925년 황해도 신천 출생으로 학력은 초등학교 졸업이 전부였으나 이후 독학으로 1948년 8기생으로 육군사관학교에 입학하여 이듬해 졸업했다. 육군대학교를 졸업하였으며 1963년 경희대학교 정치외교학과를 졸업하고, 1968년 경희대학교 대학원 정치외교학과에서 정치학 석사 학위를 취득하였다. 1969년에는 우석대와 경희대에서 명예 법학박사 학위를 받았다.
군생활 중 김종필과 정풍운동을 함께 했고, 이후 1961년 5 · 16 군사정변에 가담하여 국가재건최고회의 최고위원, 내무분과위원장과 운영기획위원장을 지냈다. 이어 1963년 7월 김종필과 김재춘에 이어 제3대 중앙정보부장에 취임했고, 10월에 육군준장으로 예편했다.
중앙정보부장으로 1969년까지 재임하였는데 중앙정보부, 국가안전기획부, 국가정보원을 통틀어 최장수 정보기관장으로 재임했을 만큼 박정희의 신임이 두터운 최측근 인물 중 하나였다. 그는 애초 육사 동기인 김종필과 가까운 사이였지만 박정희와 관계를 형성하면서 최측근이 되었다.
김형욱은 1963년 제5대 대통령선거 준비단계에서 중앙정보부장으로 임명되었다. 그가 이끄는 중앙정보부는 야당 후보 사퇴를 막는 정치공작 등으로 대통령 선거에서 큰 역할을 하였다.
선거 이후에도 중앙정보부는 한국의 대표적 공작정치의 산실이었으며 이루 헤아릴 수 없이 많은 정치공작과 공안사건을 통해 박정희 체제 유지에 결정적 역할을 했다. 1964년 8월 1차 인혁당 사건, 1967년 동백림사건과 민족주의비교연구회 사건, 1968년의 통일혁명당 사건 등은 김형욱과 중앙정보부가 개입한 대표적인 사건들이었다.
김형욱은 박정희의 악역을 자처하면서 온갖 궂은 일을 도맡아 했기에 일반 대중과 야당은 물론 여당 내에서도 그에 대한 원성이 높았다. 결국 삼선개헌 문제가 완료된 1969년 10월 20일 박정희는 이만섭의 건의를 받아들여 김형욱을 해임시켰다.
이후 1971년 5월, 8대 국회의원에 당선돼 활동하다 1972년 유신체제 선포로 의원직을 상실하게 되었다. 김형욱은 자신이 삼선개헌의 1등 공신이면서도 중앙정보부장에서 해임되고 유신정우회 의원명단에서도 제외되자 박정희에 대해 깊은 불신과 원망을 가지게 되었다.
결국 1973년 4월 15일 김형욱은 대만을 거쳐 미국 망명길에 올랐다. 망명 직후 박정희는 고위급 인사들을 보내 귀국을 설득했으나 실패했고 1977년 코리아게이트 사건이 불거지면서 김형욱은 6월 2일 『뉴욕타임스』와 기자회견을 갖고, 박정희 체제의 내부비리를 폭로하였다.
이후에도 김형욱은 미국에서 김대중 납치사건을 비롯해 각종 비리를 폭로했고, 미 하원 프레이저 청문회에도 출석해 박정희를 강력히 비난하는가 하면, 치부를 고발하는 회고록 출간도 추진하였다. 박정희의 거듭된 회유와 귀국 권유에도 김형욱은 회고록 발간을 강행했고 양자 관계는 회복 불가능할 정도로 악화되었다.
결국 1979년 10월 1일 김형욱은 중앙정보부의 공작으로 프랑스 파리로 가 중앙정보부 해외 파견요원들에 의해 납치된 이후 그의 행적은 공식적으로 확인되지 않고 있다. 파리 교외 살해설, 납치 귀국설 등이 제기되고 있으나 공식적으로 확인되지 않고 있다.