황해도 신천 출신. 김익두목사의 셋째 아들이다. 10살 때 축구를 시작했고, 경신학교와 보성전문학교를 졸업하였다.
학생 시절에는 한때 빙상선수로 활약하였고, 1928년 11월 경신학교 재학 시절에 개최된 제9회 전조선축구대회에서 실업전수학교팀을 8대 0으로 크게 이기는 데 큰 몫을 함으로써 축구선수로서의 뛰어난 자질을 인정받았다.
제8회 메이지신궁경기대회에서 그가 발군의 실력을 발휘하여 소속팀이 우승하게 됨으로써 국제무대에 출전할 기회를 갖게 되었다. 1936년 베를린올림픽대회에 일본팀의 일원으로 참가하였다.
광복 후에는 가장 우수한 현역 선수로 인정받아 1948년 런던올림픽대회에 국가대표팀 코치 겸 선수로, 제5회 세계축구선수권대회와 제6회 세계축구선수권대회에 한국팀 코치로, 1958년국제축구연맹(FIFA) 총회에 우리나라 대표로 참가하는 등 눈부신 활약을 하였다.
1980년 12월 한국 프로축구 출범과 함께 할렐루야팀 감독, 1985년에는 대한축구협회 기술지도 위원장을 맡기도 하였다.
그는 축구장 한쪽 골라인에서 반대편 골라인까지 105m 거리를 공을 땅에 떨어뜨리지 않고 무릎·가슴·머리로 공을 튕겨서 옮겨갈 정도로 정교한 개인기를 부려 ‘축구공의 마술사’로 불리기도 하였고, 현역 선수 시절 자신이 계획한 ‘1만일(一萬日) 개인기 훈련계획’을 은퇴한 뒤에까지도 꾸준히 실천하여 40여 년 만인 1979년 1월 그가 70세 되던 해에 이를 완수할 정도로 무서운 집념의 소유자이기도 하였다.
무엇보다 현역 선수 시절에 보여준 성실한 삶의 자세는 한국 축구 발전에 정신적 지주가 되어 ‘한국축구의 대부(代父)’로 칭송받고 있다. 영국축구협회가 발행한 『사커 코칭(Soccer coaching)』을 번역, 『올바른 축구의 지도』를 펴냈다.