본관은 의성(義城). 경상북도 안동 출생. 아버지는 김용대(金龍大)이며, 할아버지가 퇴계(退溪) 이황(李滉)의 학통을 이은 선비인 수산(秀山) 김병종(金秉宗)이다. 핵물리학을 전공하였으며, 특히 방사광 가속장치의 권위자였다.
과학입국의 지도이념에 철저한 교육자였다. 자연과학도 출신이면서도 유학의 현대적 계승에 힘쓴 한편, 한시회 난사(蘭社)의 일원으로 여러 편의 시를 남겼다.
안동사범학교를 거쳐 1956년 서울대학교 문리과대학 물리학과를 졸업하였다. 같은 해에 공군사관학교 교관으로 부임하여 공군 중위로 사관생도를 지도하였다. 1959년 공군사관학교 근무를 마치고 한국원자력연구소에서 연구원으로 근무하였으며, 서울대학교 공과대학에도 출강, 물리학을 강의하였다.
1961년 한국원자력연구소의 파견연구원으로 영국에 건너가 1962년 버밍햄대학 연구원, 이어 미국의 로렌스버클리연구소의 연구원으로 취임하였다. 1966년 6월 메릴랜드대학 물리학과 및 전기공학과 교수가 되었다.
이 때 메일랜드대학 부설 방사광 가속장치 설치를 주도하였고, 미주지역 자연과학 전공학자의 집결 조직인 재미과학자협회를 발기, 창립을 주도하였다. 또한, 교포 2세의 교육에도 정열을 쏟아 한글학교를 운영한 바 있다. 1978년 9월 버클리대학의 교수가 되었다.
1983년 세계적인 연구중심 과학대학을 설립, 운영하려는 뜻을 실현시키고자 럭키·금성사의 요청을 받고 귀국하였다. 그러나 정부 당국의 허가가 나지 않아 진주에 연암공업전문대학을 발족시키고 그 학장으로 취임하였다. 1985년 8월 포항제철이 계획한 국제적 수준의 공과대학 설립에 찬동하여 포항공과대학 학장으로 부임하였다.
국내외의 학자들을 교수로 초빙하고, 학생 전원에게 장학금을 주며 기숙사에 수용하는 교육 체제를 입안, 실현하였다. 이에 앞서 유학의 혁신, 확충을 위한 연구단체인 박약회(博約會)를 창설, 그 창립 회장이 되었고, 한시회 난사의 일원으로 이우성(李佑成)·고병익(高柄翊)·김종길(金宗吉)·김용직(金容稷) 등과 여러 작품을 지었다.
1985년 4월 국민훈장동백장, 1994년 3월 상허문화상, 1994년 국민문화훈장 등을 받았다. 저서로는 수상집 『자연법칙은 신도 바꿀 수 없지요』와 전공논문 30여 편을 남겼다.