우리나라의 대표적 사학인 한양대학교의 설립자이며, 「청산에 살리라」, 「비가」 등의 가곡을 작곡한 작곡가이기도 하다.
1914년 함경북도 명천에서 태어났다. 1939년 연희전문학교를 졸업한 뒤 기술보국(技術保國)을 위해 한양대의 전신인 동아공과학원을 설립했다. 1959년부터 1973년까지 15년간 한양대학교 총장을 지냈으며 이후 2007년까지 한양대 학교법인인 한양학원 이사장으로 재직하였다. 2008년 타계하였다.
한양대학교 총장과 이사장, 대한체육연맹 회장 등을 역임하였다. 대한일보와 기독교신문을 창간하였으며, 국제인권옹호 한국연맹 회장, 북한인권개선운동본부 총재 등을 역임하였다. 1937년 국내 최초의 바리톤 독주회를 개최한 이래 수 많은 가곡을 작곡하고 24차례의 작곡발표회를 개최하는 등 음악가로서도 많은 활동을 하였다. 저서에 『백남문집』, 『사랑의 실천』, 작곡집에 『김연준 가곡 1,500곡집』, 『성가곡집』 등이 있다.
연세대학교에서 명예법학박사, 캐나다 윈저 대학에서 명예법학박사, 미국 서던일리노이 대학에서 명예문학박사, 프랑스 루앙 대학에서 명예음악 박사학위를 받았다.
정부로부터 국민훈장 모란장, 무궁화장 및 금관문화훈장을 받았고, 미국 하원으로부터 공로패, 이탈리아정부로부터 공로 훈장 등을 받기도 하였다. 1979년에는 튀빙겐대학 500주년 기념 예술가상(작곡부문) 대상을 수상하였다.