본관은 경주(慶州). 신라 왕족의 후예로 경순왕을 따라 고려 태조에게 귀순하여 공신이 된 김유렴(金庾廉)의 고손이다.
과거에 급제한 뒤 1087년(선종 4) 합문인진사(閤門引進使)가 되어 요나라에 다녀왔으며, 그 뒤 다시 형부시랑과 예부상서 등을 거쳐 추밀원사(樞密院使)와 상서좌복야가 되었다.
그동안 수차에 걸쳐 군사 지휘권도 맡아 1097년(숙종 2)에는 동북면병마사로서 덕원(德源)지방을 노략질한 여진을 토벌하여 군공을 세웠으며, 윤관(尹瓘)이 여진을 정벌할 때 중군병마사로 출정하여 공로를 세웠다.
김한충의 딸은 당대의 명문인 수주최씨(水州崔氏) 집안으로 출가하였으나, 자신은 문종의 비첩에게서 태어난 여자와 혼인하였으므로 대성(臺省)과 같은 청요직에는 취임하지 못하였다. 시호는 원평(元平)이다.