본관은 안동(安東). 호는 백수(白首)·포정(圃庭). 충청남도 부여 출생. 김서규(金瑞圭)의 아들이다.
1930년 경성제국대학 의학부(제1회)를 졸업하고 곧바로 모교 외과학교실에 남아 우리나라 의사로서는 가장 초창기에 외과의사가 되었으며, 광복이 될 때까지는 김성진외과를 운영하여 도규계(刀圭界)의 상징으로 널리 알려졌다.
1945년 경성대학 의학부 교수가 되면서 교육자로 변신을 하여 많은 후진 의사를 길러냈다. 1955년 서울대학교 의과대학 학장으로 임명되어 6·25 후 폐허가 되었던 대학을 일으켜 세워 오늘의 서울대학교 의과대학으로 발전하는 기틀을 마련하기도 하였다.
한편, 대한의학협회 부회장(1957), 서울대학교 의과대학 동창회장(1959)을 역임하면서 모교를 돕고 의학계의 권익수호에 앞장을 섰으며, 1960년 보건사회부장관으로 임명되어 국정에도 참여하였다.
이것이 계기가 되어 그 뒤 1960년대에는 국회의원, 공화당중앙위원회 의장, 공화당 원내총무를 지내는 등 의사·교육자·행정가·정치가 등 다양한 경력으로 일생을 마쳤다.
이러한 업적으로 1964년 독일정부로부터 대십자2급훈장을 받았으며, 1967년 정계에서 은퇴하였다. 저서로는 수필집인 『개구장이 시절』과 『덤으로 산다』가 있다.