김형직은 1894년 7월 10일 평안남도 대동에서 태어나서 1908년 강반석과 결혼했으며, 1911년에서 13년까지 미국선교회가 운영하는 평양숭실학교에 재학했다. 그는 1913년에는 모교인 순화학교에서, 1916년에는 기독교 계열의 명신학교에서 교편생활을 했다. 1917년 3월 강동군에서 항일독립운동 단체인 조선국민회에 가입했는데, 조선국민회는 평양 숭실학교 재학생 및 졸업생 중심으로 결성된 비밀결사단체로 기독교계통의 애국계몽운동 전통에서 벗어나 무력항쟁 노선으로 전환한 민족운동단체였다. 항일활동과 관련되어 1917년 일제 경찰에 체포되어 투옥되었고, 동년 압록강 건너 맞은편 만주 린장(臨江)에 정착했다. 이후 생계를 위하여 순천의원을 차려서 한약사로 일을 했는데, 김일성은 당시 아버지가 가짜 졸업증을 걸어놓은 돌팔이였다고 회고하고 있다. 그는 1926년 6월 5일 32세에 사망했다.
김형직은 북한 정권 수립 이후 아내인 강반석과 함께 ‘민족해방운동의 탁월한 지도자’로 추앙받고 있다. 이와 관련하여 1975년 평양사범대학을 김형직사범대학으로, 1988년 함경북도 후창군을 김형직군(郡)으로 개칭하였고, 그 외에 김형직 군의대학 등 김형직의 이름을 딴 학교들이 있다. 그가 사망한 후 평양시 강동군 봉화리와 평안북도 삭주군 남사로동자구, 자강도 중강군 중강읍 등에 동상이 세워졌고, 만경대 묘지에는 그와 아내 강반석의 반신상이 있다.