김준엽(金俊燁)은 1920년 8월 26일 국경지대인 평안북도 강계(지금의 자강도 시중군)에서 부친 김종걸(金宗傑)과 모친 홍종식(洪宗植)의 4남 1녀 가운데 막내아들로 태어났다. 어렸을 때 강계에서 시중으로 이사하였다. 1935년 시중보통학교를 졸업하고, 그해에 신의주고등보통학교에 다니면서 형들에게서 항일의식을 길렀다. 신의주고보를 졸업하고 1939년 일본 게이오기주쿠대학〔慶應義塾大学〕에 입학하여 최기일과 함께 항일독서회를 조직하였다. 2011년 6월 7일 사망하였다.
1944년 게이오기주쿠대학 동양사학과 2학년 재학 중 학도병에 징집되어 1월 20일 평양의 부대를 거쳐 2월 16일 중국 쉬저우〔徐州〕 지역에 진지를 구축하고 있던 병전(柄田) 부대에 배속되었다. 그곳에서 기초훈련을 받고 가까운 곳의 경비 중대에 배치되었다. 1944년 3월 일본군 부대에서 탈출하여 중국 국민정부 중앙군 소속 유격대에 배치되었다.
학도병들의 탈출 행렬이 이어지고 뒤이어 장준하(張俊河)‧윤경빈(尹慶彬) 등과 함께 1944년 6월 중국 유격대를 떠나 김학규(金學奎)가 이끄는 한국광복군 초모대(招募隊)에 입대하였다. 한국광복군은 성립 이후 최전방 지역은 쉬저우와 가까운 안후이성〔安徽省〕 푸양〔阜陽〕과 린촨〔臨川〕에 초모위원회를 설치하였으며, 일본군에서 탈출한 한인 청년들을 모집하고 있었다.
입대 후에는 한국광복군 훈련반, 이른바 한광반에 입교하여 체계적인 군사훈련을 받았다. 한광반의 군사훈련은 주로 미군과의 합작 훈련을 기초로 실시되었다. 훈련 과정은 사격훈련, 병기훈련, 야외훈련 등의 본격적인 군사훈련이었다. 한광반에서는 김학규와 이평산(李平山)의 한국 독립운동사 강의도 시행되었다. 이곳에서 장준하, 윤재현 등과 함께 잡지 『등불』을 창간하였다. 제2호는 노능서(魯能瑞)의 탈출 경로를 희곡으로 구성하여 게재하였다.
한광반 1기를 졸업한 후 푸양과 린촨에 체류하는 부대와 충칭 대한민국임시정부로 이동하는 부대가 있었으며, 1944년 11월 21일 충칭으로 이동하였다. 린촨을 떠난 지 2개월 만인 1945년 1월 31일 충칭에 도착하였다. 1945년 2월 한중문화협회는 일본군에서 탈출한 25명의 한인 청년을 환영하는 대회를 개최하였으며, 이 회의에는 대한민국임시정부 부주석 김규식(金奎植), 외교부장 조소앙(趙素昻)과 중국 각계 요인의 환영사가 있었다. 김준엽은 이때 청년 대표로 답사(答辭)하였다.
김준엽은 장준하와 함께 한국광복군 제2지대에 편입되었다. 당시 한국광복군 제2지대는 산시성 시안〔西安〕에 지대본부가 있었으며, 지대장은 이범석(李範奭)이었다. 시안 시내에서 30㎞ 정도 떨어진 두곡진(杜曲鎭) 관제묘에 자리를 잡은 제2대는 넓은 연병장을 보유하였으며, 지역민의 지원도 받았다.
1945년 8월 초에는 OSS훈련 정보파괴반을 수료하였으며, 한국광복군 국내정진군 강원도반 반장에 임명되어 장준하‧노능서와 함께 국내 진입을 기다리던 중 광복을 맞이하였다. 1945년 8월 15일 광복 이후 국내로 바로 귀국하지 않고 중국에 잔류하면서 한중 교류에 힘썼다.
1948년 6월, 한중 친선 활동의 일환으로 중국 유학생을 초청하여 문화 교류를 추진하였다. 이때 중국 난징(南京)에서 한어과 교수로 활동하면서 양국의 가교 역할을 담당하였다. 중국 학생들을 서울대 문리과대학에 입학시키는 역할과 한중 학생들의 교류도 적극적으로 추진하였다.
1948년 11월 난징에 있던 권태종과 함께 국공내전(國共內戰)으로 중국 정세가 불안해지자 상하이로 피신하였다가 12월 12일 귀국하였다. 1982년 7월부터 1985년 2월까지 고려대학교 총장을 지냈다. 자서전으로 『장정』(전5권)을 펴낸 바 있다.
1980년 건국포장과 1990년 건국훈장 애국장이 수여되었으며, 2011년 대한민국 무궁화장이 추서되었다.