1173년(명종 3) 정중부(鄭仲夫)·이의방(李義方) 등의 무신을 제거하기 위하여 김보당(金甫當)의 거병에 가담한 장인 동북면지병마사(東北面知兵馬使) 한언국(韓彦國)이 주살되자, 화가 미칠 것을 두려워하여 처자를 거느리고 승평군(昇平郡: 지금의 전라남도 순천)에 숨어 있었다
조위총(趙位寵)의 난을 진압한 기탁성이 권력을 잡자, 김평이 재능이 있다고 하여 직사관에 발탁하였다. 1198년(신종 1) 비서감(祕書監)에 올라 국자감시를 주관하고, 이듬해 동지공거(同知貢擧)가 되어 과거를 주관하여 최득검(崔得儉) 등 진사 33인을 급제시켰다.
1201년 국자대사성(國子大司成)으로 동지공거가 되어 과거를 시행하였고, 이듬해 추밀원부사가 되고 1205년 추밀원사로서 별세하였다. 문장이 뛰어났는데, 1193년 친구인 이승장 묘지명을 기거랑 지제고(起居郞 知制誥) 시절에 지었다. 이 묘지명은 국립중앙박물관에 소장되어 있다.