본관은 경주(慶州). 인종 때의 학자 김부식(金富軾)의 아버지이다.
1080년(문종 34) 호부상서 유홍(柳洪), 예부시랑 박인량(朴寅亮)과 더불어 송나라에 사신으로 갔다.
이때 송나라 사람들이 박인량과 김근의 시문에 크게 감탄하여 『소화집(小華集)』이라는 문집을 만들었다. 1086년(선종 3)에는 예부시랑으로서 동지공거(同知貢擧)가 되어 이자위(李子威)와 함께 성균시(成均試)를 관장하였다.
뒤에 국자좨주좌간의대부(國子祭酒左諫議大夫)에까지 올랐다. 네 아들 김부필(金富弼)·김부일(金富佾)·김부식·김부의(金富儀) 모두가 문장에 능하여 명성이 높았다.