본관은 선산(善山). 자는 자배(子培), 호는 강호(江湖)·강호산인(江湖散人). 선산 출신. 김광위(金光偉)의 증손으로, 할아버지는 김은유(金恩宥)이고, 아버지는 김관(金琯)이며, 어머니는 유인귀(兪仁貴)의 딸이다.
12세 때부터 길재(吉再)로부터 『소학(小學)』과 경서를 배우기 시작하였다. 역학에 밝은 윤상(尹祥)이 황간현감으로 내려와 있다는 소식을 듣고 걸어가서 배움을 청하자 윤상은 그 열의를 보고 『주역(周易)』의 깊은 뜻을 힘써 가르쳐주었다.
1414년(태종 14) 생원시에 합격하고, 1419년(세종 1) 식년 문과에 병과로 급제하였다. 고령현감을 거쳐, 1436년에 경명행수(經明行修)의 선비 추천에서 첫 번째로 꼽혀 세자우정자(世子右正字)가 되었다. 그러나 얼마 후 선산의 교수관으로 나갔다가 개령현감이 되었다.
그 뒤에 사예(司藝)가 되었으나, 1456년 사직하고 처가가 있는 밀양으로 내려가서 그 해에 죽었다. 16세기에 사림에 의해 확립된 도통(道統)의 계보에서 길재의 학문을 아들 김종직(金宗直)으로 하여금 잇게 하였다.
효성이 지극해 『소학(小學)』의 법도를 따라서 어버이를 모셨다. 그리고 남을 가르치기를 권태롭게 여기지 않아, 친상(親喪) 중에 여막 곁에 서재를 만들어 조석을 올린 뒤에 가르치기까지 해, 학업을 받는 자에게 큰 감동을 주었다.
가르칠 때에는 처음에 『동몽수지(童蒙須知)』 유학자설정속편(幼學子說正俗篇)을 모두 암송시킨 다음 『소학(小學)』에 들어가고, 그 다음에 『효경(孝經)』·『사서오경(四書五經)』·『자치통감(資治通鑑)』 및 제자백가의 순을 밟았다.
『소학(小學)』을 앞세우면서 실천을 중시하는 학문 자세는 길재에게서 물려받았으며, 16세기에 이르러 사림 사이에 일반적인 것이 되었다. 선산의 낙봉서원(洛峯書院)에 제향되었다. 시호는 문강(文康)이다.