본관은 안동(安東). 아호는 동인(東人). 함경남도 함주 출생. 아버지는 김예호(金禮鎬)로, 그의 장남으로 태어났다.
1945년 일본 중앙대학(中央大學) 전문부 경제과 2년을 수료하였다. 1945∼1949년 어랑 태백공업 · 한양공업중학교 교유(敎諭), 1953∼1956년 국방부 정훈국, 국방대학원에 근무하다 육군 소령으로 예편하였다.
1956∼1960년 국도신문사 논설위원을 맡았고, 1960∼1961년 국학대학 · 한양대학교 · 성균관대학교 강사를 지냈고, 1961∼1968년 경희대학교 문화과 교수를 역임한 뒤, 1968∼1976년 우석대학 · 건국대학교 강사를 지냈다.
1967년에는 한국고고학협회를 창설하였다.
1977∼1994년까지 문화재관리국(현, 국가유산청) 전문위원으로 근무하였다. 1981년에 일본 와세다(早稻田)대학에서 가야고분의 연구로 문학박사학위를 취득하였다. 1995∼1996년 한국문화재보호재단(현, 국가유산진흥원) 매장문화재 발굴조사실장을 맡았다.
주요 저서와 보고서로는 『역사학개론』(1961), 『한국의 고고학』(공저, 1972), 『한국사대계-상고-』(공저, 1973), 『한국의 원시 · 고대미술』(1974), 『천마총발굴조사보고서』(공저, 1974), 『석촌동적석총발굴조사보고』(공저, 1975), 『백제의 고분』(1976), 『신라의 고분』(1976), 『무기와 화약』(1977), 『가야의 고분』(1978), 『조선반도의 벽화고분』(1980), 『신안해저유물 1』(공저, 1981), 『고구려고분벽화』(1989), 『고분』(1991), 『고분유물』(1992) 등이 있다.
주요 논문으로는 「고분을 통하여 본 고대 한 · 일 관계」, 「신라고분의 변천」, 「고고학상으로 본 기마민족 동래설」, 「일본문화의 원류로서의 한국문화」, 「삼국시대의 무기소고」, 「고대 한 · 일 양국의 무기」, 「한 · 일 고대 장신구 비교」, 「가야의 관모에 대하여」, 「철기시대 묘제」, 「고분에서 엿볼 수 있는 신라의 장송의례」, 「신라의 금속공예」, 「한국지석묘소고」, 「의성대리고분 발굴조사보고」, 「삼국시대의 마구소고」, 「백제고분의 변천」, 「신라고분의 편년에 관하여」, 「고구려 고분의 양식과 부장품」, 「삼국시대의 무기와 마구」, 「고구려의 토기」, 「고구려의 무기와 마구」, 「백제의 무기와 마구」, 「고대 한 · 일 관계사」, 「일본고분에 보이는 백제적 요소」, 「고구려 고분 벽화의 특색」, 「고고학상으로 본 기마민족 동래설과 가야문제」, 「삼국시대의 고분문화」, 「후지노끼고분의 한국적 성격」, 「가야문화 장신구」, 「유적발굴조사 및 고분정비」, 「한국무기발달사」 등이 있다.
전국의 수많은 백제 · 신라 · 가야고분을 발굴 조사하였고, 논저를 통해 우리나라 초창기 고고학 발전에 크게 기여하였다. 30여 년간 교육계에 헌신하였고, 후반에는 우리나라 각 처의 고대 유적발굴현장에서 혼신의 정력을 쏟았다. 또한 한 · 일 고대문화 연구에 커다란 업적을 남겼을 뿐만 아니라, 우리나라 고대 무기 연구에 독보적인 위상을 차지하고 있다.
1951년 금성화랑훈장, 1952년 무성충무훈장, 1983년 근정포장을 받았고, 1996년에 보관문화훈장(寶冠文化勳章)을 추서 받았다.