본관은 연안(延安). 아버지는 밀직부사(密直副使) 김을진(金乙珍)이다.
공민왕 때에 현화사진전직(玄化寺眞展直)으로 관직에 나간 후, 소부윤·홍주목사·호조판서 등을 역임하였다.
태조 때에 순제등처병마사(蓴堤等處兵馬使), 이조·예조·병조의 전서(典書), 중군동지총제(中軍同知摠制)를 역임하였다. 1402년(태종 2) 충청도도절제사 재직 중에 ‘재물을 탐하여 백성들을 소요시킨다.’는 사헌부의 탄핵을 받고 파직되어 장단에 유배되었다.
1407년 중군도총제, 이어 충좌시위사상호군(忠佐侍衛司上護軍)을 겸임하였다. 이듬해에는 태조가 피병을 위해 김남수의 집에 왔다. 1409년 명나라의 요청에 따른 군마의 진헌을 위한 진헌관마색(進獻官馬色)이 설치되자, 이천우(李天祐)·설미수(偰眉壽)·윤사수(尹思修)와 함께 제조(提調)가 되었다.
또한 11도도절제사의 설치로 충청도도절제사가 되었다. 1410년 여진족이 동북면을 침략하자 길주도도안무찰리사(吉州道都安撫察理使)로 파견되었다. 1412년 삼군(三軍) 및 별시위(別侍衛)·응양위(鷹揚衛)의 절제사(節制使)와 별사금(別司禁)의 제조(提調) 등이 설치되면서, 이흥발(李興發)과 함께 별시위좌일번절제사(別侍衛左一番節制使)가 되었다.
이어 지의정부사 겸 판사복시사(知議政府事兼判司僕寺事)·공조판서를 역임하였다. 1419년 판좌군도총제부사(判左軍都摠制府事) 재직 중 수년 전 사복시제조로서 전곶목장(箭串牧場)의 전지 수결을 도경한 사실이 발각되어 온수(溫水)에 귀양갔다가 태종의 선지로 귀환하였다. 시호는 장양(莊襄)이다.