가계와 출신지는 자세히 알 수 없다. 1170년(명종 즉위년) 무신정권이 성립되자 반무신란(反武臣亂)이 서경(西京)과 북계(北界) 지역을 중심으로 일어났다. 반무신란의 대표격이라 할 수 있는 조위총(趙位寵)의 난이 발발했을 때, 김존심(金存心)은 서경유수(西京留守) 조위총이 신임하는 부하였다. 1175년(명종 5)에 정중부정권(鄭仲夫政權)에서 파견한 진압군 사령관 윤인첨(尹鱗瞻)이 조위총 세력의 본거지인 서경을 공격하였다. 이때 김존심은 이의방(李義方) 등이 의종을 시해한 사실을 알리고 금(金)의 협조와 원병을 구하기 위해 조규(趙規)와 더불어 금에 사신으로 파견되었다.
금나라로 가는 도중에 김존심은 마음이 변하여 조규를 죽이고 예안강(禮安江)으로 와서 정박했는데, 명종이 이 소식을 듣고 환관(宦官)을 보내어 김존심을 맞아들여서 내시합문지후(內侍閤門祗侯)에 임명했다. 김존심을 따라 같이 들어온 군사와 장수 60명도 관직과 상을 받았다. 조위총은 김존심이 배반한 소식을 듣고 김존심의 처와 자식을 죽였다고 한다. 김존심이 무신정권에 투탁함으로써 조위총 진영은 분열되었으며 결국 조위총의 난은 진압되었다.