본관은 김해(金海). 아버지는 수사 김우(金宇)이다.
1611년(광해군 3) 광해군을 몰아내고자 한 김직재(金直哉)의 옥사에 연루되어 유배되었다.
1637년(인조 15) 봉림대군(鳳林大君)·소현세자(昭顯世子)·인평대군(麟坪大君)과 함께 인질로 심양(瀋陽)에 갈 때 옥하관(玉河關)에 이르러 「월명비안(月明飛雁)」의 시를 읊은 것으로 유명하다.
무용(武勇)으로 이름을 떨쳐 심양에 있을 때 청나라 장수 우거(禹巨)가 김여준의 무용을 인정하고 두 사람이 씨름을 하다가 우거가 죽었으나 군법(軍法)이라 하여 죄를 받지 않았다. 본국으로 돌아와 벼슬에 나가지 않고 전라남도 영암에서 일생을 마쳤다.
효종이 즉위하자 부름을 받았으나 이미 죽은 뒤라 관직을 내려 영혼을 위로하였다. 또, 효종은 달 밝고 기러기 나는 밤에 그를 추억하는 시제(詩題)로써 선비들을 시험하였다.