본관은 풍산(豊山). 자는 회일(會一). 경상북도 안동 출신. 아버지는 김낙운(金洛雲)이다.
1910년 일제에 의해 국권을 침탈당하자, 동향인이며 친척인 김재봉(金在鳳)·김응섭(金應燮)·김지섭(金祉燮) 등과 항일투쟁을 결의하고 활동하다가 1913년 만주로 망명하였다.
1918년 이상룡(李相龍)이 세운 길남장(吉南莊)에서 영농생활을 하면서 군사훈련을 받았다. 1919년 서로군정서(西路軍政署)에 가담, 뒤에 군정서의 헌병이 되었다. 1924년 4월 동지 최병호(崔炳鎬)·유기동(柳基東) 등과 한인동포를 탄압하던 일본 총영사와 형사부장 등을 제거하기 위해 기회를 엿보던 중 일본경찰에 발각되어 포위공격을 받았다.
15시간 동안의 결사적인 항전 끝에 일본 총영사 및 일본경찰 10여 명을 사살하고 현장에서 장렬하게 순국하였다. 당시 중국 각 신문들은 이 사실을 크게 보도하여, 김만수의 공적을 안중근(安重根)의 의거와 같이 높이 평가하였다.
1963년에 건국훈장 독립장이 추서되었다.