본관은 상산(商山: 지금의 경상북도 상주), 자는 성인(成仁)이다. 경상우도 단성현(丹城縣) 출신이다.
1583년(선조 16) 김준민은 북병사 이제신(李濟臣)의 지휘에 따라 온성부사 신입(申砬), 부령부사 장의현(張義賢), 첨사 신상절(申尙節)과 군관(軍官) 김우추(金遇秋) · 이종인(李宗仁) 등과 함께 금득탄(金得灘) · 안두리(安豆里) · 자중도(者中島) · 마전오(麻田塢) · 상가암(尙加巖) · 우을기(于乙其) · 거여읍(車汝邑) · 포다통(浦多通) · 개동(介洞) 등 여러 여진 부족을 습격하였다.
1592년(선조 25) 김준민은 거제현령으로 일본군의 공격으로부터 성을 지켜냈다. 이후 순찰사 김수(金睟)는 근왕(勤王)을 이유로 소환(召還)되었고, 김준민이 성을 나간 뒤 거제는 무너졌다. 이후 경상우도 의병장 손인갑(孫仁甲)이 왜군을 초계(草溪)에서 격퇴하였다. 그는 퇴각하는 일본군을 추격하다 말이 모래 구덩이에 빠지면서 사망하였다. 의병장 정인홍((鄭仁弘)은 김수에게 김준민으로 하여금 손인갑을 대신하도록 요청하였다. 이로 인해 김준민은 손인갑의 군을 이끌게 되었다.
1592년 10월 경상우도 관찰사 김성일은 진주가 위급하다는 소식을 접하고, 경상우도와 전라도 의병장들에게 진주성을 방어할 것을 명령하였다. 이때 김준민은 합천 가장(假將)으로 북쪽으로 진주성에 진입하는 임무를 부여받았다. 그는 결사대 80명을 거느리고 단계현(丹溪縣)에 도착하였는데, 왜군은 관사(官舍)를 불사르고 있었다. 그가 돌격하여 20여 리를 추격하자, 왜군은 흩어져 퇴각하였다.
1593년(선조 26) 왜군이 연합하여 진주를 재차 공격하였다. 왜군 장수 가토 기요마사〔加藤淸正〕와 고니시 유키나가〔小西行長〕 등은 30만 명의 군대를 동원하여 진주성을 공격하였다. 도원수 권율은 관군과 의병에게 진주를 지키도록 전령을 내렸다. 이때 관군과 의병장들이 군사를 이끌고 진주성으로 들어와 일본군의 공격에 대비하고 있었다. 창의사(倡義使) 김천일(金千鎰)은 300명의 군사를 이끌고 먼저 성에 들어갔고, 경상병사 최경회(崔慶會)가 500명, 고종후가 400명의 군사를 이끌고 성에 들어갔다.
거제현령 김준민도 김해부사 이종인 등과 함께 목사 서예원(徐禮元)과 수비책을 논의하였다. 악전분투하였지만 진주성은 왜군에게 함락당하였고, 김천일과 최경회 등은 전사하였다. 김준민은 단독으로 말을 달리며 왜군과 싸우다 전사한 것으로 전해진다.
사후 형조판서에 추증되었고, 선무원종공신(宣武原從功臣)에 책봉되었다. 충민사(忠愍祠)에 제향되었다.