김약진은 최충헌(崔忠獻)의 족인(族人)이었다. 그는 1196년(명종 26) 최충헌이 아우 최충수(崔忠粹)와 함께 무신정권의 집정자 이의민(李義旼)과 그 일족을 제거하는 데 참여하였다. 또한 명종 27년 9월에 명종을 폐위하기 위하여 무력을 행사하였을 때 최충헌 형제 및 박진재(朴晉材) 등과 함께 중군(中軍)에 편성되어 적극적으로 활약하였다.
특히, 그는 1197년(신종 즉위년)에 최충헌이 아우 최충수를 제거할 때도 박진재와 더불어 선봉에 섰던 인물이었다. 이런 공로로 그는 이후 흥위위대장군 지상부사 태자우찬선대부(興威衛大將軍知上部事大子右賛善大夫, 종3품), 상장군(上將軍, 정3품)으로 승진한 것으로 보인다.
1211년(희종 7) 12월에는 내시(內侍) 낭중(郎中) 왕준명(王濬明) 등이 내시와 승도(僧徒)를 동원하여 수창궁(壽昌宮)에 머물러 있던 최충헌을 제거하려고 하자, 상장군 김약진은 지주(知奏) 정숙첨(鄭叔瞻)과 함께 내전으로 들어가 최충헌을 부축하여 탈출하였다. 최충헌이 무사하다는 소식을 들은 친위부대 도방(都房)이 다투어 진입하여 이들을 구출하였고, 승도들은 패하여 달아났다. 이에 김약진은 최충헌에게 궁궐로 들어가 모두 죽이고 심지어 임금도 없애 버리겠다고 건의하였지만, 최충헌의 만류로 이에 그쳤다.
이런 최충헌 암살 미수 사건으로 인해 희종이 강제 폐위되고 한남공(漢南公) 왕정(王貞)이 강종(康宗)으로 등극하였다. 이후에는 김약진의 행적이 사료에 등장하지 않지만, 그는 상장군이라는 공적 지위뿐만 아니라, 최충헌의 핵심 군사 집단인 도방 안에서도 중요한 역할을 하였을 것으로 추정된다.