호는 일산(一山). 경상남도 함안 출생. 영남의 유학자 김성직(金性稷)의 둘째 아들이다. 어릴 때 아버지로부터 한학을 배우고, 14세에 서울 휘문의숙(徽文義塾)에 입학하여 의학과 역사에 관심을 가지게 되었다.
휘문의숙을 졸업한 뒤 일본으로 건너가 교토부립의학전문학교(京都府立醫學專門學校)에 들어가 학업을 마친 뒤 중국으로 건너가 내과의사로 병원을 개업하였다.
한편, 40세 나이에 만주의과대학의 동양의학연구소에 연구원으로 들어가 학문연구를 다시 시작하였다.
이곳에서 5년간의 연구 끝에 1945년 의학박사 학위를 받은 뒤 광복이 되자 귀국하였다. 귀국 후 서울대학교에 있던 윤일선(尹日善)의 권유로 서울대학교 의과대학에서 의사학(醫史學)을 강의하며 부속병원장을 맡았다.
그 뒤 1957년 미국 존스홉킨즈대학 의학사연구소에서 연구원으로 한국의학사를 연구하고 김규식(金奎植)이 창설한 대한적십자사의 전신인 조선적십자사의 초대보건부장으로 활약하며 부총재를 역임하기도 하였다.
또한, 사회참여도 활발하여 1960년 숙명여자대학교 총장, 1963년 성균관대학교 재단이사장을 역임하고, 1980년 학술원 원로회원이 되었다. 의학의 기술적 발전과 문화적 의의, 그리고 사상적 배경을 중심삼아 의학사를 서술하는 일에 전력하여 이 분야에서 길이 남을 금자탑을 세웠다.
한편, 각종 고서(古書)의 간행연대나 판본의 형태, 자체(字體) 등과 그 책에 붙어 있는 서(序)·발(跋) 등을 연구하여 『한국고인쇄기술사(韓國古印刷技術史)』를 펴냄으로써 서지학 발전에도 크게 공헌하였다.
저서로는 『한국의학사(韓國醫學史)』와 『한국고인쇄기술사』 등이 있다.