1918년 대구광역시 출신으로 대구 공립초등학교를 졸업하고 서울로 올라가 휘문고등학교를 졸업하였다. 건축공부에 뜻을 두고 일본으로 건너갔으나 동경음악학교에 입학하여 작곡을 전공하고 지휘법과 콘트라바스를 부전공하여 한국 최초의 오케스트라인 고려교향악단 콘트라바스 연주자가 되었다.
경성음악 전문학교에서 콘트라바스와 실내악을 가르쳤으며 경성음악 전문학교가 서울대학교 예술대학으로 개편되자 음악학부 전임강사로 후학을 양성하였다.
6ㆍ25 전쟁 때 공군정훈음악대의 부대장 겸 공군악대 초대합주 지도교관으로 활동하고 전쟁이 끝나자 효성여자대학교의 음악과장을 지낸 후 서울대학교 국악과 조교수로 임명되어 정년퇴임까지 재직하였다.
우리나라 최초의 콘트라바스 연주자였던 김흥교는 한국인의 체격에 맞게 콘트라바스 주법을 개량하고 전국의 범종 소리를 녹음하여 서울대학교에 자료를 보관하고 콘트라바스를 위한 실내악곡과 국악 악기를 위한 작품을 양악 연주법으로 풀이해낸 독특한 작품을 작곡하였다.
그의 작품은 「장구와 관현악을 위한 2장」, 「관ㆍ현ㆍ타악기를 위한 2장」 등의 관현악곡과 「청산별곡」, 「동동다리」 등의 합주곡 「해금과 장구를 위한 수상」, 「향피리와 장구를 위한 2중주」 등의 실내악곡, 「해금을 위한 소곡」, 「국악기를 위한 행진곡」, 작품집 『제와 굿』 등 수십 곡에 이른다. 저서로는 『콘트라베이스 신교본』, 『비교음정에 의한 시창 교본』을 남겼다. 1996년 5월 14일 1주기 추모의 밤이 국악원 소극장에서 개최되었다
1983년 8월 31일 서울대학교 음학대학 정년퇴임식장에서 국민훈장 목련장을 받았다.