1912년 경기도 안성에서 출생했다. 광주지방법원 판사로 근무했던 김종근(金鍾根)의 장남이다. 1925년 전라북도 전주제일공립보통학교, 1930년 경성제일공립고등보통학교, 1935년 경성제국대학 법문학부 법과를 졸업했다. 1935년 11월 일본 고등문관시험 사법과에 합격, 1936년 대구지방법원을 거쳐, 1937년 12월 평양지방법원 예비판사, 1938년 5월 평양지방법원 판사에 임명되었으며, 1939년 12월 고등관 6등으로 승급했고, 1940년 2월 정7위로 승서되었다. 이후 평양복심법원 판사를 겸직하며 해방이 될 때까지 재직하였으며, 1942년 5월 종6위로 승서, 1944년 9월 고등관 4등으로 승급했다.
해방 후에는 1945년 11월 경성대학 법문학부 교수를 거쳐, 같은 시기 미군정청 사법부 조사국장에 임명되었다. 정부 수립 후인 1948년 9월 법전편찬위원회 위원, 같은해 11월 법무부 법무국장, 1949년 7월 법무부 차관 및 1950년 3월 내무부 차관 등을 거쳤다. 1953년 6월부터 1960년 6월까지 대법원 대법관 및 헌법위원회 위원을 역임했다. 이후 정치활동을 시작해 1960년 7월 제5대 민의원 선거에서 무소속으로 경기도 안성에서 당선됐으나, 이듬해 5·16군사쿠데타로 의정활동이 중단되었다. 1963년 8월 민주공화당의 서울시당부 부위원장, 1966년 12월 마포구당 위원장 및 1967년 중앙위원 등을 거쳤다. 1981년 1월 신정당(新政黨) 총재 및 1982년 3월 신정사회당(新政社會黨) 의장 등을 지냈다. 이외에도 1968년 11월 학교법인 경기학원 이사장, 1974년 동국학원 이사장 등을 역임했다. 1995년 1월 26일 사망했다.