본관은 원주(原州). 자는 수부(秀夫). 할아버지는 전설사별좌(典設司別座) 김영(金瑛)이고, 아버지는 동지중추부사(同知中樞府事) 김두남(金斗南)이며, 어머니는 도호부사 김희필(金希弼)의 딸이다.
1608년(선조 41) 무과에 급제, 선전관을 거쳐 황해도·경상도·함경도의 병영에 근무하였다. 1617년(광해군 9) 인동부사가 되었고, 여러 고을의 수령을 거쳐 1628년에는 황해병사가 되었으며, 북병사(北兵使)를 거쳐 1636년 전라도병마절도사가 되었다.
그 해에 병자호란이 일어나자 관할 군사를 이끌고 적에게 포위당한 남한산성으로 진군하면서 곳곳에서 군사를 모아 병력을 보강하였다. 직산(稷山)을 경유, 용인의 광교산(光敎山)에 이르러 험준한 산세를 이용, 이를 거점으로 포진하였다.
공경(孔耿)의 청나라 군대 수만이 공격해오자 필사적으로 싸워 청 태조의 부마 백양고라(白羊高羅) 등 많은 적병을 사살하였으나, 우리의 병력 손실도 커서 휘하의 기병 수백을 이끌고 수원에 도착, 다시 남하하여 재기를 계획하였다.
감사 이시방(李時昉)은 김준룡의 전공을 시기하여 모함하였으나, 이성구(李聖求)·최명길(崔鳴吉)의 도움으로 무사하게 되었다. 뒤에 어영중군(御營中軍)·김해부사·경상도병마절도사 등을 역임하였다. 시호는 충양(忠襄)이다.