본관은 김해(金海). 호는 석천(石泉). 평안남도 강서 출생. 아버지는 김기영이며, 어머니는 유학봉이다. 6남매 중 장남이다.
어릴 때 한문을 수학하였고, 1918년 사립 봉의학교(鳳儀學校)를 거쳐 1925년 평양고등보통학교를 마친 뒤 일본에 건너가 1929년 사가[佐賀]고등학교, 1933년 동경제국대학 공학부 응용화학과를 졸업하였다. 그 뒤 한국전쟁 중인 1952년 서울대학교에서 최초의 이학박사학위를 취득하였다.
한국 최초의 동경제국대학 응용화학과 출신으로 1934년 이와키[岩城] 주식회사에 들어가 동양에서 처음으로 초산섬유소와 피막(皮膜)을 사용하여 안전유리를 만드는 데 성공하였다. 그 뒤 가네보[鐘淵]화학공업 주식회사를 거쳐 경성방직 주식회사 공장장으로 귀국하였다.
1945년 광복을 맞아 서울대학교 공과대학 초대 학장이 되어 우리 나라 공학 교육의 기반을 확충하고 국대안(國大案) 반대와 학업 분위기 쇄신, 그리고 좌익 타도 등 여러 가지 현안문제를 해결하는 데 앞장섰다.
1954년 미국 미네소타대학 교환교수 생활을 하면서 학문 연구에 열중하였다. 1954년에는 대한민국학술원 초대 회원이 된 이래 자연과학부장을 거쳐 학술 발전에 크게 이바지하여 1970년 학술원 공로상을 받았다.
1959년에는 한국원자력원의 초대 상임위원에 임명되어 원자력학술회의를 주도하고 한국과학기술진흥협회를 조직하여 사무총장을 역임하는 등 원자력 발전에도 힘을 쏟았다.
특히 ‘과학기술 혁신이 곧 국가 발전’이라는 명제 아래 1966년 9월 과학기술 관련 단체를 통폐합한 후 전국과학기술자대회를 개최하여 한국기술단체총연합회를 창설하였다.
「과학기술진흥법」 제정, 과학기술 전담부서 설치, 「과학기술인의 신조」 제정, 한국과학기술회관 건립과 원로과학기술자문단 창설 등 우리 나라 과학기술 진흥 등에 힘쓴 결과 1982년 국민훈장 무궁화장을 받았다.
1970년에는 사재(私財)를 출연하여 한국석유산업개발센터를 설립하고 이사장에 취임한 이래 국가적으로 절실했던 석유 탐사와 개발 연구에 몰두하였다. 한편 한국요업학회 회장, 대한화학회 회장, 서울국제싸이언스클럽 회장, 원로과학기술자문단 단장 등을 역임하는 등 산학협동과 국제협력에 기여하였다.
주요 저서로는 『한국자기공업론』(1955)·『한국화학공업기술사』(1977) 등이 있으며, 공저로 『한국근세과학기술100년사』(1990)·『한국전통기술의 국제화에 관한 연구』(1994) 등이 있다.