본관은 문화(文化). 자는 사원(詞源), 호는 송정(松亭). 강서 김씨(江西金氏)의 시조이다. 장인이 장사언(張思彦)이다. 권근(權近)의 문인이다.
1399년(정종 1) 식년 문과에 을과로 급제하고, 1405년(태종 5) 성균주부가 되었으며, 이어 성균직강으로 승진하였다. 1423년(세종 5) 예조의 추천으로 효자의 정문이 세워지고 호세(戶稅)를 감면받았으며 우헌납을 제수받았다. 이듬해에는 좌헌납에 올랐으나 일년 뒤에 뇌물을 받은 혐의로 면직되었다.
1428년 서장관으로 명나라에 들어가 시가 4편을 지어 선종(宣宗)의 은혜에 사례하자, 선종이 이를 한림원(翰林院)에 내려 후세에 전하게 하였다. 이로써 김반의 글이 중국에도 알려졌으며, 중국인들이 ‘소단미선생(燒斷尾先生)’이라 불렀다고 한다.
1429년 사예(司藝), 1436년 사성, 1441년 대사성을 거쳐 1443년에는 첨지중추원사에 제수되었고, 이후 행 대사성(行大司成)에 제수되었다.
1448년에 겸사성(兼司成) 윤상(尹祥) 및 사성 김말(金末)과 경서에 대한 논쟁을 벌이다가 꾸짖고 욕까지 해 파직되었다. 퇴직 후 가난해서 문하생들이 쌀과 술을 보내주었으나 끝내 끼니를 잇지 못하다가 굶어 죽었다. 자손은 없다.
일찍이 『성리대전(性理大全)』·『이학제강(理學提綱)』·『역상도설(易象圖說)』·『사서장도(四書章圖)』와 여러 격언을 채집해 보설(補說)했으나 간행되지 못하였다.
권근(權近)의 문인으로 경서에 통달했으며, 성균관에 20여 년간 재직하였다. 김구(金鉤)·김말과 함께 같은 때에 성균관에서 교수하면서 많은 인재를 길러내, 사람들이 이들을 ‘삼김(三金)’·‘경학삼김(經學三金)’ 혹은 ‘관중삼김(館中三金)’이라고 일컬었다.
1593년(선조 26)에 왕이 강서현(江西縣)에 행차해 김반의 무덤을 수리하고 예관으로 하여금 제사를 지내게 하였다. 이보다 앞서 고을 선비들의 청으로 학동서원(鶴洞書院)을 세워 제향하였다.