명주(溟州)출신으로 과거에 급제한 뒤 영광군의 수령이 되어 선정을 베풀었다. 안무사(安撫使) 최위(崔渭)가 충성하고 청백한 것을 자부하여 남을 잘 인정하지 않았으나 오직 김진만을 가장 뛰어난 사람으로 꼽았다.
우보궐(右補闕)을 거쳐 청주목부사(淸州牧副使)가 되어 선정을 베풀었다. 뒤에 비서소감(秘書少監)이 되었다가, 1111년(예종 6)에 전중감(殿中監)으로 요나라에 사신으로 다녀왔고, 이듬해 예부시랑(禮部侍郎)으로 다시 요나라에 가서 천흥절(天興節)을 축하했다.
1119년에 호부시랑(戶部侍郎)으로 동북면병마부사(東北面兵馬副使)가 되고, 인종 초에 국자감대사성(國子監大司成)·어사대부좌산기상시(御史大夫左散騎常侍)를 거쳐 1125년(인종 3)에 동지추밀원사(同知樞密院事)가 되었다.
1126년에 이자겸(李資謙)·척준경(拓俊京)이 일으킨 반란에 궁궐이 불타는 것을 보고 탄식하며 숙직하는 처소의 문을 닫고 불에 타 죽었다. 시호는 열직(烈直)이다.