1915년 서울에서 출생했다. 호는 청파(淸坡)이다. 193년 경성제일공립고등보통학교를 졸업하고 1940년 일본 와세다대학교[早稻田大] 법학부를 졸업했다. 재학 중인 1939년 일본 고등문관시험 사법과에 합격했다. 1940년 경성지방법원 및 동 검사국에 사법관시보로 위촉되었으며, 1941년 경성지방법원 검사 대리를 겸했다.
1942년 6월 경성지방법원 판사, 1943년 3월부터 해방 때까지 대구지방법원 판사로 근무했다. 1944년 조선의 독립을 목적으로 단체를 조직하여 민족의식 고취활동을 전개하다가 체포된 조형길 등의 재판, 일본의 필연적 패망과 조선의 독립 등을 논의한 혐의로 체포된 정명천 등의 재판 등에 판사로 참여했다.
해방 후 1945년 대구지방법원 부장판사를 거쳐 1949년 대검찰청 검사에 임명되었다. 1950년 대통령 비서관이 되었다가 서울지방검찰청 검사장으로 자리를 옮겨 국민방위군사건 수사를 지휘했다. 1952년 청주지방검찰청 검사장으로 자리를 옮겼다.
변호사로 활동하던 1954년 4월 내무부 차관에 임명되었고, 이듬해인 1955년 내무부 장관 백한성(白漢成)과의 의견 대립으로 사표를 제출했으나 오히려 내무부 장관으로 승진 선임되었다.
1956년 3월 민주당 주도하에 국회에서 ‘김형근 내무부 장관 불신임안’이 결의되었으나, 다수당인 자유당이 부결시켰다. 하지만 그해 5월 개각으로 사임했다. 퇴임 직후인 1956년 5월 서울신문 사장으로 위촉됨과 동시에 같은 해 6월 21일 미곡창고주식회사 사장에 선임되었다. 서울신문 사장으로 활동하면서 한국일간신문발행인협회 이사장을 맡기도 했다.
1958년 변호사로 개업해 활동하다가 1973년 중앙선거관리위원 헌법위원회 헌법위원으로 선출되어 1987년까지 역임했다. 1993년 8월 21일 사망했다. 상훈으로는 을지무공훈장, 국민훈장 무궁화장 등이 있다.