대구광역시 출신의 작곡가, 음악학자로 대구사범학교 문학부 영문과를 졸업한 뒤 오스트리아 빈대학교에서 작곡 및 서양음악사, 비교음악학을 전공하고 경북대학교 음악과 교수와 예술대학장을 역임하였다.
1925년 11월 8일 대구광역시 계산동에서 태어났다. 할아버지 때부터 천주교 신자인 집안에 태어나 계산성당에 다니며 서양음악을 접하고 바이올린과 피아노를 배웠다.
독학으로 작곡을 공부하여 1946년 가곡 「노래의 날개 위에」, 「금잔디」를 작곡하고 1947년 한국적인 요소를 첨가한 「그리움」을 작곡했다.
1947년 현재의 경북대학교인 대구사범학교 문학부 영문과에 입학하고 1951년 졸업할 때까지 음악 전반에 흥미를 느끼고 시와 문학에 관심이 많아 후에 예술가곡을 작곡하는 자질을 갖추게 된다. 1951년 11월 3일 현재의 대구 미국문화원인 「대구 미국 공보원」에서 제1회 작곡발표회를 개최하였다.
1959년 오스트리아 빈대학교로 유학, 작곡을 공부하고 철학부 음악학과에서 서양음악사와 비교음악학을 전공하여 1964년 「한국 민요의 비교음악학적 고찰」이라는 논문으로 철학박사 학위를 받았다.
1965년부터 1981년까지 계명대학교 음악과 교수를 역임하고 1968년 계명대학교 대강당에서 제2회 작곡발표회를 개최하였다. 1970년 가곡집을 출간하고 1972년 제3회 작곡 발표회를 개최하였으며 1981년부터 1986년까지 예술대학이 신설된 경북대학에서 음악과 교수 겸 예술대학장을 역임하였다.
1986년 김진균 가곡 85곡집 『산 넘어 저 하늘이』가 유작으로 발간되었다.
김진균은 언어적, 시적 특성과 아름다움을 부각한 가곡을 쓰고자 했으며 자신의 가곡을 서구적 한국가곡과 한국적 한국가곡으로 분류하여 85곡의 가곡집을 1부 36곡과 2부 49곡으로 나누어 한국예술 가곡의 장르를 개척하였다. 『음악미학』과 『서양음악사』를 번역, 발간하여 이론과 작곡의 융합을 꾀하였다.
1971년에 경북 문화상을 수상했다.