본관은 김녕(金寧). 호는 청계(淸溪). 경상북도 칠곡 출생. 조선 초기의 문신 김문기(金文起)의 25세손으로, 아버지는 김상두(金相斗)다. 2남 3녀 중 장남이며 비교적 부유한 가정 출신이다.
1932년 대구고등보통학교(현 경북중고등학교)를 졸업한 후 1938년 경성제국대학에서 조선어문학을 전공하였다.
1956년「이조시대의 가요연구」로 서울대학교에서 문학 박사 학위를 취득하였다. 같은 해 7월 미국 하버드대학 연경학관(燕京學館)에 초빙되어 ‘몽고어와 한국어의 비교 연구'를 1년 동안 하였다.
8·15광복 전에는 광주사범학교와 경북중학교에서 교유(敎諭)로 있었고, 광복 후 1947년에는 서울대학교 교수로 잠시 있다가 1953년부터 1960년까지 경북대학교 교수로 재직하면서 영남대학교의 전신인 대구대학과 청구대학에서 국문학과의 기틀도 닦아 놓았다. 1956년 12월부터 1960년 6월까지 경북대학교 대학원장을 지냈다.
1960년 11월 일본 덴리대학[天理大學]으로 옮겨 한국어문학을 강의했고, 1961년 4월부터 1967년까지 교토대학[京都大學] 강사로 한국어를 담당하였다.
1963년에서 1982년까지는 오사카외국어대학[大阪外國語大學] 객원 교수로 초빙되어 경도대학 대학원에서 길러 낸 일본인 제자들과 더불어 한국어과를 창설해 20년 간 재직하였다. 귀국 후 1982년 3월부터 1991년 2월까지 동국대학교 교수 겸 일본학연구소장으로 있으면서 한일 문화 교류에 힘썼다.
그의 학술적인 업적은 국문학 자료 소개와 연구 논저, 그리고 번역으로 대별할 수 있다. 먼저 자료 소개로는 『속담대사전』(방종현 공편, 1939)·『조선민요집성』(최상수·방종현 공편, 1948)·『송강가사교주(松江歌辭校註)』(1959)·『교주해제춘향전(校註解題春香傳)』(1962) 등이 있다.
연구 논저로 국어판(國語版)은 『조선문학사』(1948 : 개고국문학사, 1954)·『정송강연구(鄭松江硏究)』(1950)·『속담론』(1953)·『이조시대의 가요연구』(1956)·『향가의 문학적 연구』(1979)·『일본의 만엽집(萬葉集)』(1983, 증보판 1988)이 있다.
또한 일본어판은 『한국문학사』(원제 : 朝鮮文學史, 1971, 문고판 1973)·『한국의 마음-민족의 시와 진실』(원제 : 朝鮮のこころ, 1972)·『고대한국어와 일본어』(1974, 증보 1981)·『동카라린과 구노국의 수수께끼』(원제 : トンカラリンと狗奴國の謎, 1977)·『기기만엽의 한국어』(원제 : 記紀萬葉の朝鮮語, 1979, 증보 1989) 등이 있다.
그 밖의 저술로는 『한국의 풍토와 문화』(1974)·『한국 시(詩)와 에세이의 여행』(1978)외 2권이 있다.
번역서로서는 일역(日譯)으로 예용해(芮庸海)의 『한국의 인간국보』(1976), 이병도(李丙燾)의 『한국고대사 상·하』(1979)·『삼국사기』(상 1980, 하 1981)·『삼국유사』(1980) 등이 있다.
한역(韓譯)으로 『만엽집(萬葉集)』(1권 1984, 2권 1985, 3권 1987, 4권 1991)이 있는데, 완결되는 5권과 『일본영이기(日本靈異記)』는 미간행인 채 유고로 남아 있다. 이 밖에 학술지에 기고한 논문은 「원효대사와 원왕생가」(1962) 등 20여 편에 이르고 있다.
그의 공적으로 초창기 대구의 국문학계에 씨를 뿌려 많은 중진 학자를 길러 내었고, 일본에서는 일본의 한국 문화와 한국 어문의 왜곡된 교육을 바로잡는 데 힘썼다. 그리고 일본 문화와 세시 풍속 등의 원류가 한국에서 유래했음을 밝혔다.
특히, 일본이 그들 역사의 정본(定本)으로 삼고 있는 『고사기(古事記)』와 『일본서기(日本書紀)』에서 한국어를 찾아내어 고증했고, 우리 향가 표기와 같은 향찰 문자(鄕札文字)로 기록된 『만엽집』의 300가인(歌人) 가운데 그 반수가 한국인임을 밝혀 일본 조야(朝野)와 학계에 지대한 영향을 주었다.
1984년에 일본정부로부터 훈사등욱일소수장(勳四等旭日小綬章)을 받았고 또, 1985년에는 쌍방 양국의 문화 교류에 기여한 공로가 큰 외국인에게만 주는 야마가타반토상[山片蟠桃賞]을 네 번째로 수상하였다.