본관은 김해(金海). 호는 학산(鶴山)·야돈(野豚)·추강(秋江). 아명은 만석(萬石). 경상남도 마산 출신. 아버지는 김치완(金致琓)이며, 어머니는 박경포(朴敬布)이다.
1928년 마산상업학교를 졸업한 뒤 한동안 직장생활을 하다가 일본으로 건너가, 1941년 메이지대학[明治大學] 전문부 법과를 졸업하였다. 이듬해 같은 대학 신문고등연구과(新聞高等硏究科)를 수료한 뒤 귀국하여, 선만경제통신사(鮮滿經濟通信社) 기자로 근무하였다.
광복 후에는 예술신문사(藝術新聞社) 주간(1946), 『자유문학』 주간(1956∼1958) 등을 지냈다. 건국대학교 강사를 거쳐 1958년 단국대학교 국문과 교수로 부임, 1968년부터 문리과대학장 등을 역임하였다. 1973년 같은 대학에서 명예문학박사학위를 받았다.
광복 후 한때 좌익문학단체에 관여한 일도 있었으나 완전히 전향하여 한국자유문학가협회에 가담하였고, 1962년 펜클럽한국본부 부회장 등을 역임하면서 한국문단의 발전에 기여하였다.
시작활동은 1930년 4월 14일『동아일보』에 발표한 「춘원(春怨)」을 비롯하여, 1935년 10월 14일 같은 신문에 「선언(宣言)」, 그리고 같은해 『신인문학(新人文學)』에 「첫 여름밤 귀를 기울이다」 등을 발표하면서 시작되었다.
1938년 ‘맥(貘)’ 동인으로 참가, 「시그넬」·「역설」 등을 발표하였고, 같은 해 장시 「낙동강(洛東江)」을 발표하여 시단의 주목을 끌었다. 시세계는 크게 세 시기로 나누어 변모과정을 추적해볼 수 있다.
1941년대에 간행된 첫 시집 『향연(饗宴)』(일본 도쿄 興亞社刊)과 제2시집 『해마다 피는 꽃』(詩文學社, 1948)에서 나타나는 초기의 시세계는 일제치하를 배경으로 한 어두운 시대상과 피압박민족의 서러움을 노래하는 절망과 비애의 시기라고 할 수 있다.
중기는 향수를 바탕으로 한 회고와 순수 서정, 그리고 6·25사변과 같은 현실의 충격에 기인한 구국의 의지와 민족정기를 노래하던 시기로서, 그의 시작활동 가운데 절정기에 해당한다.
1950년대에 간행된 제3시집 『푸른 별』(1952), 제4시집인 서사시집 『남해찬가(南海讚歌)』(1952), 제5시집 『날개』(1957)가 이 시기에 속한다. 말기는 1960년대 이후로 시작활동이 다소 침체된 느낌을 주는 가운데, 서민의식을 바탕으로 한 생활시가 중심을 이루고 있다.
제6시집 『의상세례(衣裳洗禮)』(1962)와 유작시집 『혼선(混線)』(1974)이 여기에 속한다. 그 밖에 저서 및 편서로는 『시문학입문(詩文學入門)』(1949)·『세계명작감상독본(世界名作鑑賞讀本)』(1953)·『한국애정명시선(韓國愛情名詩選)』(1954)·『항쟁(抗爭)의 광장(廣場)』(1960)·『시원산책(詩園散策)』(1964) 등이 있다. 1983년 사후 10주기를 맞이하여 제자들이 『김용호시전집』을 간행하였다. 1956년 제4회 아시아자유문학상을 수상했다.