본관은 경주(慶州). 신라 종실 김주원(金周元)의 후손이다. 아버지는 문하시랑평장사(門下侍郎平章事)를 지낸 김상기(金上琦)이며 형은 문하시중을 지낸 김인존(金仁存)이다. 부인은 경원 이씨, 사위는 최함(崔諴)이다.
풍채가 아름다웠으며 문학으로 이름이 났다. 1104년(숙종 9) 11월에 밀진사(密進使)로서 요나라에 다녀왔으며, 1109년(예종 4)에 좌승선 지이부사(左承宣知吏部事), 1111년에는 예부상서 우간의대부(禮部尙書右諫議大夫)가 되었다.
다음 해에 지어사대사(知御史臺事), 1113년 7월에는 좌간의대부(左諫議大夫)가 되고, 다음 해 3월에 다시 지어사대사가 되었다. 같은 해 12월에 지상서이부사 연영전학사(知尙書吏部事延英殿學士)를 지냈으며, 1117년 3월에는 문덕전학사(文德殿學士)로서 국자감시 시관이 되어 왕존(王存) 등 103명을 선발하였다.
같은 해 6월에는 대사성 보문각학사(大司成寶文閣學士)가 되어 국자감의 최고실력자가 되었고, 1118년에는 예빈경(禮賓卿)으로 동지공거(同知貢擧)가 되어 과거를 관장하였으며, 다음해 6월에는 어사대부(御史大夫)로서 정치의 득실을 논하였다.
1122년 인종이 즉위하자 지추밀원사에 오르고, 다음 해 7월 중서시랑평장사(中書侍郎平章事)로 별세하였다.