평장사(平章事) 김영존(金永存)의 아들이다.
1170(의종 24) 정중부(鄭仲夫) 등이 무신난을 일으킨 후 무신 간의 정권쟁탈이 자행될 무렵, 그 아우 김준광(金俊光)과 함께 딴 뜻을 품었다는 이유로 황주목사로, 김준광은 상주목사로 각각 좌천되었다.
여기에 불만을 품고 직무를 돌보지 않고 용사를 모아 항상 사냥에만 전념하였다. 이때 김준거와 가장 친밀히 지내던 박진재(朴晉材)의 문객인 신기지유(神騎指諭) 이적중(李勣中)과 비밀히 통하여 반란을 일으킬 것을 약속하였다.
당시 안변부(安邊府)에 나가 있던 김준광에게 연락하여 황주 백성들 중에서 가장 날래고 힘센 사람들을 거느리고 개경에 잠입하였다.
그러나 장인인 낭장(郎將) 김순영(金純永)이 이 사실을 알고 최충헌에게 밀고함으로써 일당과 함께 잡혀 사형을 당하였다.