본관은 의성(義城). 자는 간지(幹之). 부인은 유정(柳汀)의 딸이다.
1415년(태종 15) 식년 문과에 동진사로 급제하여 성균관학유에 제수되었다. 1427년(세종 9)에 백언(白彦)의 청에 의해 백춘(白春)·박진(朴眞)과 함께 부사정(副司正)으로 승급하였다.
1449년 사성이 되었는데, 대사성 김반(金泮), 겸사성 윤상(尹祥)과 경서(經書)의 이동(異同)에 대해 논쟁하다가 김반은 파직되고, 김말은 종학으로 옮겨졌다. 1451년(문종 1)에 첨지중추원사에 제수되고, 1453년(단종 1)에 가선대부로 승진하여 경창부윤(慶昌府尹)이 되었다가, 1456년(세조 2) 예문제학으로 옮겼다.
1457년에는 중추원부사로 승진하고, 1462년에는 판중추원사에 올랐다. 경사에 박통하고, 또한 성리학에도 정통하였다. 당시 후진의 교육과 경학의 발전에 공로가 컸으므로 김구(金鉤)·김반과 더불어 ‘삼김(三金)’ 또는 ‘경학삼김(經學三金)’ 혹은 ‘관중삼김(館中三金)’이라 일컬었다.
성질이 굳고 정확하며 몸가짐이 방정하였다. 당시 조정의 많은 유사(儒士)들이 김말의 문하에서 배출되었다. 시호는 문장(文長)이다.