자는 중심(仲尋), 아호는 우전(雨田) · 학산(鶴山). 경상북도 안동 출신. 안동시 예안면 군자리 탁청정(濯淸亭) 종손 김영도(金永燾)의 차남으로 출생하였다.
안동에서 유인식(柳寅植)과 김동삼(金東三) 등이 세운 최초의 중등학교인 협동학교(協東學校)와 서울 중동학교에 다닌 적이 있다고 전해진다. 예안 3·1운동에 참여한 김남수는 1920년부터 사회운동에 뛰어 들었다.
1920년 가을에 유인식의 지도로 조선노동공제회 안동지회가 조직되자, 여기에 참여하면서 김남수의 사회운동이 시작되었다. 안동청년회에 참가하고 동아일보 안동지국 총무로 활약하다가 상경해 동향 출신인 김재봉(金在鳳) · 권오설(權五卨) · 이준태(李準泰) 등과 무산자동맹에서 활동하며 서울에서도 두각을 나타냈다.
1923년 6월 경성공무공장 여공 파업의 진상을 알리기 위해 「경성고무 여공(女工) 동맹파업의 전말(顚末)」이란 보도문서를 작성하고 78개 노동단체에 발송했다가 체포되어 벌금형을 받았다. 그리고 이 해에 조선노동연맹회 제2회 정기총회에서 중앙집행위원으로 선임되어 활동했다.
1923년 11월에 안동으로 내려와 양반지주 출신들인 이준태 · 권오설 · 안상길(安相吉) 등과 더불어 풍산소작인회(豊山小作人會)를 조직해 안동에 사회운동의 뿌리를 내렸다.
1924년 이후 안동지방 사회운동의 핵심으로 자리잡은 김남수는 1925년 1월에 청년운동단체들을 지도하고 여기에 사회주의 사상을 주입하기 위해 화성회(火星會)를 조직하는데 앞장섰고, 상무집행위원을 맡아 주도인물이 되었다.
그리고 도산서원에서 소작료 납부 약속을 지키지 않는 소작인들을 구타하자 소작투쟁 차원에서 도산서원철폐운동을 벌이기도 했다.
한편 그 해 4월에는 화요회가 계획한 전조선민중운동자대회를 준비하기 위해 경남지방으로 파견되기도 하였다. 그런데 8월 9∼10일 이틀 동안 친일 · 극우 인물들이 형평사 예천지회 사무소를 파괴하고 사상자를 발생시켰는데, 이 때 조선일보 특파원으로서 상세하게 그 전말을 연일 보도해 형평사운동에 대한 전국적 지원을 이끌어 냈다.
그러한 와중에서도 안동청년연맹의 임시의장으로서 조직을 결성하고, 「국제청년데이의 유래」라는 제목으로 강연하기도 했다. 노동운동의 연장선에서 1925년 10월에 안동노우회(安東勞友會)를 결성했는데, 김남수가 창립총회의 사회를 맡았다. 또 1925년 11월에는 기자들의 모임인 안동기우단을, 다음해 12월에는 안동기자단을 결성하였다.
제3차 조선공산당에서 핵심간부로 활동하던 김남수는 1928년 9월경에 체포되어 징역 2년형을 선고받았고, 폐병에다가 ‘정신이상설’이 신문에 보도되는 등 어려운 옥살이를 참아냈다.
또 1939년에는 ‘사문서위조행사’라는 이름 아래 다시 체포되어 징역 10월을 선고받았다. 옥중 투쟁의 여독으로 광복을 맞기 직전에 사망하였다.
2005년 건국훈장 애족장이 추서되었다.