홍천(洪川) 출신이며 본명은 장충정(張忠正)이다. 아버지 장문위(張文緯)는 검교예부상서 행사재소경(檢校禮部尙書行司宰少卿)에 추증되었고, 조부 장제망(張齊望)은 태자소보(太子少保)에 추봉되었으며, 증조 장진(張瑨)은 상식봉어(尙食奉御)에 추봉되었다. 어머니 왕씨(王氏)는 태자소보(太子少保)에 추증된 왕현(王鉉)의 딸이었다.
19세에 진사(進士)에 합격하였고, 5대조 장원지(張元之)의 음(蔭)을 받아 처음 중서이부(中書吏部)에 임명되었다가 과거에 급제하였으며, 시중 왕충(王冲)과 시랑 권적(權迪)의 문하였다. 이후 용주통판(龍州通判)이 되었고, 말을 잘하여 금나라에 사신으로 다녀오기도 하였으며, 주로 외국 사신의 접대를 맡아보다가 영송판관(迎送判官)이 되었다.
장충의가 1170년(의종 24) 무신정변에서 살아남았던 배경은 자세하지 않지만, 장충의의 뛰어난 가계와 이후 정중부와의 돈독한 관계를 유지했던 것으로 보아 친무신적인 성향을 지녔던 것으로 생각된다. 1170년(명종 즉위년)에 내시원(內侍院)을 거쳐 감찰어사(監察御使)로 동북면을 순시하며 탐관오리들을 탄핵하기도 하였다. 전중내급사(殿中內給事)·상식봉어(尙食奉御)·동북로감세사(東北路監稅使) 등을 두루 거치고 이부원외랑 지제고(吏部員外郎知制誥)를 지냈다.
1175년(명종 5) 정중부(鄭仲夫)가 70세가 되어 치사(致仕)하려고 했을 때, 장충의가 기지를 발휘하여 만류시켜 권세를 더욱 키우는 계기를 마련하기도 하였다. 사재소경 호부시랑 위위경(司宰少卿戶部侍郎衛尉卿)을 거쳐, 1180년(명종 10) 판예빈성사(判禮賓省事)로서 서경재제부사(西京齋祭副使)로 갔다가 죽었다. 장충의가 사망한 해에 지은 장충의의 묘지명(墓誌銘)이 전해져 현재 일본 도쿄국립박물관에 보관 중이다.