본관은 경주(慶州). 자는 천여(天與). 아버지는 선종 때의 국자좨주 좌간의대부(國子祭酒左諫議大夫)를 지낸 김근(金覲)이며, 형은 김부필(金富弼), 동생으로는 김부식(金富軾)과 김부의(金富儀)가 있다.
문과에 급제해 직한림원(直翰林院)이 되었고, 추밀원사(樞密院使) 왕가(王嘏)를 따라 송나라에 사신으로 가서 명문(名文)을 지음으로써 송나라 철종(哲宗)의 찬사를 받았다. 숙종 때 습유지제고(拾遺知制誥)를 거쳐 원주·상주의 지방관을 역임해 훌륭한 치적을 남겼다.
예종 때 예부낭중이 되었는데, 요나라가 여진을 치려고 원병을 청해오자, 군신들이 모두 찬성하였다. 그러나 김부식, 호부원외랑(戶部員外郎) 한충(韓冲), 위위소경(衛尉少卿) 척준경(拓俊京) 등과 함께 윤관(尹瓘)이 여진을 정벌한 뒤라 군민(軍民)의 휴식을 위해서도 불가하며, 다른 나라를 위해 군사를 내는 것이 국익에 어긋난다고 반대하였다.
1116년 국자사업기거주(國子司業起居注)로 보문각대제(寶文閣待制)가 되어, 왕과 유신들에게 경사(經史)를 강론함으로써 문명을 크게 떨쳤다. 사람됨이 관후하고 문장에 능해, 모든 사명(辭命)을 맡아 윤색했다고 한다. 팔관회의 송사(頌詞)와 구호(口號)를 지으니, 예종은 물론 송나라의 왕도 칭찬하였다.
또한, 동생 김부식·김부철(김부의)과 함께 예종을 문한(文翰)으로 시종하게 함으로써, 김부일의 어머니는 대부인으로 가자(加資)되었다. 1122년 인종의 즉위와 함께 동지추밀원사 정당문학 한림학사승지(同知樞密院事政堂文學翰林學士承旨)가 되었다.
1127년 중서시랑 동중서문하평장사(中書侍郎同中書門下平章事)를 거쳐, 1130년(인종 8) 중풍으로 사직을 청하니, 수태위 개부의동삼사 비서성사 주국(守太尉開府儀同三司秘書省事柱國)으로 개수(改授)되었다.
검교 태보 수태위 문하시랑 동중서문하평장사 판상서예부사상주국(檢校太保守太尉門下侍郎同中書門下平章事判尙書禮部事上柱國)에 추증되었다. 시호는 문간(文簡)이다.