본관은 개성(開城). 호는 우암(牛岩). 평안남도 용강 출신. 아버지는 김동직(金東稷)이며, 어머니는 안이원(安利源)이다.
1943년 경성제국대학 이공학부 기계공학과를 제1회로 졸업하였다. 그 뒤 인천에 있는 조선기계제작소에서 2년간 잠수함의 설계에 종사하면서 조선공학(造船工學)에 흥미를 갖게 되어 현대 조선공학의 교육과 연구, 나아가서 고대 조선사(造船史)의 연구에 일생을 바치게 되었다.
1952년에 대한조선학회가 설립될 때 창립 이사가 되었고, 1960년 6월부터 1970년 10월까지 회장으로서 학회 발전에 많은 공헌을 하였다. 1959년에 이탈리아 로마에서 개최된 제2회 세계어선회의에 참석한 것을 비롯해서 1962년에 서울에서 개최된 인도-태평양어업기구기술회의, 도쿄에서의 제11차 국제선형수조회의(ITTC, 1966), 로마에서의 12차 ITTC(1969), 베를린에서의 13차 ITTC(1972) 회의에 참석하였다.
또한, 제10회 정부간해사자문기구 기술회의(IMCO)에 서울대학교 또는 정부대표로 참석하여 조선공학 및 조선행정면에 있어서 우리 나라의 국제적인 지위와 토대 구축을 위해서 힘썼다.
서울대학교 조선공학과에서 1985년 3월에 정년퇴임하기까지 37년간에 걸쳐 현대 조선공학의 이론과 설계 분야의 교육 및 연구에 정력을 기울였다. 잠수함의 설계를 시작으로 1950년대에서 1970년대에는 어선, 연안객선의 성능 향상을 위한 연구와 고속정의 설계에 진력하였다. 1968년에 서울대학교에서 『연안객선에 있어서 대형 구상선수(球狀船首)가 조파저항(造波抵抗) 감소에 미치는 영향에 관한 실험적 연구』라는 논문으로 공학박사 학위를 취득하였다.
1970년대 중반부터 거북선에 관한 연구를 하여 타계하기까지 조선시대의 각종 함선에 관한 연구에 몰두하여 거북선을 비롯한 조선 때 우리 나라 군선의 선형, 구조, 뛰어난 기동성, 막강한 화력에 이르기까지의 군사상 우월성 및 조선공학적 특성을 규명하고, 조선시대의 대일 통신사선(通信使船)의 구조와 통신사선으로서의 제특성을 밝혔다.
그 외에 신라·고려시대·조선 전기의 배에 대한 연구를 거듭하여 우리 나라의 고대 선박사를 완성한 업적은 매우 크다. 1966년 대한민국학술원 회원으로 선출되었고, 1988년 7월부터 4년간 학술원 부원장으로 재직하였으며, 학술원 대표로 국제과학연맹이사회(ICSU)에 1978년(아테네)과 1989년(北京) 2차례 참석하는 등 학술원 발전에 공헌하였다.
주요 논문으로는 「구선(龜船)의 조선학적 고찰」(1974)를 비롯하여 「판옥선고(板屋船考)」(1976), 「조선 초기의 군함」(1976), 「여암(旅菴)의 병선론(兵船論)에 대하여」(1982), 「조선 말기의 군함」(1983), 「완도선의 선체구조에 대하여」(1986), 「구선의 크기와 척수의 변천」(1991), 「임진왜란중의 조·일·명의 군함의 특성」(1993), 「조선통신사선」(1995), 「삼도주사부분군도(三道舟師部分軍圖)에 대하여」(1998) 등이 있으며, 주로 학술원 논문집에 발표되어 있다.
저서로는 『조선왕조군선연구』(일조각, 1976)를 비롯하여 『거북선의 신화』(정우사, 1980), 『한국선박사연구』(서울대학교 출판부, 1984), 『거북선』(정우사, 1992), 『한국의 배』(서울대학교 출판부, 1994), 『속(續) 한국선박사연구』(서울대학교 출판부, 1994) 등이 있다.
1969년에 삼일문화상 기술상, 1978년 한국출판문화상 저작상과 학술원상 저작상, 1993년 5·16민족상(산업 부문)을 수상하였고, 1995년에는 ‘자랑스러운 서울대인’으로 선출되었으며, 국가로부터 국민훈장 동백장(1972)과 모란장(1985)을 서훈받았다.