김인식은 1885년 평양에서 태어났다. 1896년 감리교에서 경영하던 평양의 숭덕학교(崇德學校)에 입학하였고, 그 뒤 숭실중학교 재학 때에는 선교사 부인인 헌트(Hunt)와 당시 정의여학교(正義女學校) 교장이던 스눅(Snook)에게서 성악, 주1, 주2을 배웠다. 그 뒤 바이올린과 주3을 배웠고, 오르간 솜씨가 특히 뛰어나 숭실중학교 3학년 때에는 1학년의 음악 수업을 맡기도 하였다.
1907년 미국 유학 준비를 위해 상경하였다가, 당시 서울의 여러 사립 학교들의 간청으로 본격적인 음악 교사로 활약하게 되어 미국 유학을 포기하였다. 황성기독교청년회가 설립한 상동청년학원(尙洞靑年學院) 중학부에서 서양 음악을 지도하면서 진명(進明) · 오성(五星) · 경신(儆新) · 배재(培材) 등 여러 사립 학교에서 서양 음악을 지도하였다.
이상준, 김형준, 백용우 등과 함께 서양 음악을 수용한 선구자로, 1909년에 개설된 우리나라 최초의 사립교육기관인 조양구락부에서 1910년부터 1915년까지 풍금 교사로 있었으며, 이 시기에 홍난파를 가르쳤다. 또 1913년에는 우리나라 최초의 합창단인 경성합창단(京城合唱團)을 결성하였다. 경성합창단은 처음에는 남성을 중심으로 출발하였으나 뒤에 혼성 합창단이 되었고, 본부는 종교교회(宗橋敎會)에 두었다. 그리고 YMCA합창단을 조직하여 지휘를 하였으며, 새문안교회, 종로교회, 정동제일교회 등 여러 교회의 성가대를 지휘하기도 하였다.
작사한 작품으로 중요한 작품은 ‘올드 랭 사인’의 선율에 가사를 붙인 「애국가」이며, 이 「애국가」의 가사 중 후렴 부분인 “무궁화 삼천리 화려강산 대한사람 대한으로 길이 보전하세” 부분이 현행 「애국가」와 동일하다.
이 밖에도 초기 기독교 교회 음악에도 깊이 참여하여 많은 찬송가 가사를 우리말로 번역하였고, 주5의 「아베마리아」와 「세레나데」, 주6의 「할렐루야」 등 성가와 합창곡들을 번역하였다. 또한 우리나라 전통 음악 「영산회상」 · 「여민락」 · 전통 가곡 등을 처음으로 서양식 주4로 주8.
최초의 작품은 1905년에 8마디 한 주7 선율에 10절의 가사를 붙여 작곡한 「학도가(學徒歌)」로 『보통교육창가집』에 수록되었으며, 「표모가(漂母歌)」 또는 「표의(漂衣)」, 「부모은덕가(父母恩德歌)」 등 다수의 작품을 작곡하였다. 특히 「학도가」는 우리나라 창작 음악의 효시가 되는 역사적 의미를 지닌다. 그리고 「점진가(漸進歌)」 · 「국기가(國旗歌)」등 작품에 대한 기록만 있고 악보가 발견되지 않은 곡들에 대한 연구가 진행 중이다.
한국 최초의 서양 음악가로서 김인식의 가장 중요한 평가는 초창기 서양 음악 발전에 끼친 영향력이 지대하다는 점과 우리나라 서양 음악의 주춧돌이 되었다는 점이다.