1190년(명종 20)에 동지추밀원사(同知樞密院事)를 지냈고, 이듬해에는 지추밀원사로 승진하였다.
이 때 추밀원부사로 있던 손석(孫碩)과 사이가 나빠 항시 다투었으므로 세상 사람들의 조롱을 받았다. 뒤에 평장사까지 승진하였다.
그러나, 아들인 황주목수(黃州牧守) 김준거(金俊琚)와 안변수(安邊守) 김준광(金俊光)이 당시의 권신 최충헌(崔忠獻)을 살해하려는 음모를 꾸미다 발각되어 주살되면서, 그도 연좌되어 황려현(黃驪縣: 지금의 경기도 여주)으로 유배되었다.