본관은 김해(金海). 서울 출생. 지주였던 아버지 김태욱(金泰旭)과 어머니 안형순(安亨順) 사이에서 장남으로 태어났다.
1942년 선린상업학교를 졸업하고 일본으로 유학을 떠나 도쿄시 나카노구 스미요시초 54번지(東京市 中野區 佳吉町 54)에서 하숙하며 대학입시 준비를 위해 조후쿠[城北] 고등예비학교에 들어갔다. 그러나 머잖아 조후쿠 고등예비학교를 그만두고 쓰키지[築地] 소극장의 창립멤버 미즈시나 하루키[水品春樹] 연극연구소에 들어가 연출수업을 받았다.
1943년 징집을 피해 귀국하여, 1944년 가족과 함께 만주 길림성(吉林省)으로 이주하였다. 그곳에서 교원생활과 연극운동을 하였다. 광복 후 연희전문학교 영문과 4년에 편입하였으나 중퇴하였다.
북한의 남침으로 미처 피난하지 못한 그는 북한군에 징집되었다가 거제도 포로수용소에서 석방되었다. 그 뒤 미군통역생활도 하고 평화신문사 문화부차장 등 여러 직장을 전전하였으나, 1956년 이후부터는 시작과 번역에만 전념하다가 교통사고로 사망하였다.
그의 작품 활동은 1945년 문예지 『예술부락(藝術部落)』에 시 「묘정(廟庭)의 노래」를 발표하면서 시작되었다. 그 뒤 김경린(金璟麟) · 박인환(朴寅煥) · 임호권(林虎權) · 양병식(梁炳植) 등과 함께 합동시집 『새로운 도시와 시민들의 합창』(1949)을 간행하여 모더니스트로 각광을 받았다.
이 때의 시들은 「공자의 생활난」(1945) · 「가까이할 수 없는 서적」(1947) · 「아메리카타임지」(1947) · 「웃음」(1948) · 「이[虱]」(1947) · 「토끼」(1949) 등이 있다.
초기에는 모더니스트의 일반적 경향인 현대문명과 도시생활을 비판적으로 노래했으나, 서구사조를 뒤쫓는 일시적이고 시사적인 유행성에 탐닉하지 않고 새로운 시대의 전진로를 개척하려고 하였다는 점에서 서구취향의 모더니스트의 자기극복과정을 보여준다.
1950년대 후반부터는 모더니스트들이 지닌 관념적 생경성을 벗어나 격변하는 시대 속에서 겪어야 했던 지적 방황과 번민을 풍자적이며 지적인 언어로 시화하였다. 1959년에 간행된 『달나라의 장난』은 이 시기의 시적 성과를 수록한 첫 개인시집이다.
수록된 대표적 작품들은 「달나라의 장난」(1953) · 「헬리콥터」(1955) · 「병풍」(1956) · 「눈」(1957) · 「폭포」(1957) 등을 꼽을 수 있다. 1950년대의 지적 번민 속에서 성숙해온 그가 본격적인 자신의 세계를 구축할 수 있었던 계기가 된 것은 1960년의 4·19혁명이다.
여기서 그는 평등한 삶을 실현하고자 하는 자유를 위한 혁명에서 시적 열정을 얻는다. 강렬한 현실비판의식과 저항정신에 뿌리박은 시적 탐구는 그로 하여금 1960년대 참여파 시인들의 전위적 구실을 담당하게 했다.
이 때의 대표작품으로 「푸른 하늘을」(1960) · 「후란넬저고리」(1963) · 「강가에서」(1964) · 「거대(巨大)한 뿌리」(1964) · 「어느날 고궁을 나오면서」(1965) · 「엔 카운터지(誌)」(1966) · 「풀」(1968)을 들 수 있다.
그는 현실의 억압과 좌절 속에서 일어서고자 하였던 1960년대의 대표적인 시인의 한 사람이며 현실참여의 생경하지 않은 목소리를 보여줌으로써 1970년대는 물론 1980년대까지 강력한 영향을 미친 시인이라 할 수 있다.
1958년 제1회한국시인협회상을 수상했다. 죽은 뒤 출판된 시집으로는 『거대한 뿌리』(1974) · 『달의 행로를 밟을지라도』(1976)와 산문집 『시여, 침을 뱉어라』(1975) · 『퓨리턴의 초상』 등이 있다.
저서 · 역서로는 『20세기 문학평론』(柳玲 · 蘇斗永 共著, 1953) · 『카뮈의 사상과 문학』(김붕구 공역, 1958) · 『현대문학의 영역』(Tate, A. 원저, 이상옥 공역, 1962) 등이 있다.