본관은 안산(安山)이며 황해도 은율 출신이다. 평양의 광성보통학교(光成普通學校)를 졸업한 뒤 1934년에 중학교에 입학했으나, 중단하고 일본으로 건너가 일본 도요시마상업학교를 졸업, 당시 영화인과 접촉하면서 조감독 생활을 했다.
광복 후에는 유치진(柳致眞)을 사사하였고, 극예술협회 연출부에서 음악 효과를 맡아보았다. 6·25전쟁 때는 피난지인 대구에서 시를 발표하기 시작했고, 서울 환도 후에는 군사다이제스트사 기자, 국방부 정훈국 방송실의 상임연출자로 10여 년간 근무하다가 1963년부터 동아방송국 제작부에서 근무했다.
처음으로 시 「돌각담」(1951)을 발표한 뒤 시작에 전념하였고, 1957년에는 전봉건(全鳳健)·김광림(金光林) 등 3인 공동시집 『전쟁(戰爭)과 음악(音樂)과 희망(希望)과』를 발간하였다.
이 시집에 「돌각담」·「개똥이」·「G.마이나」·「음악」 등 초기 시들이 실려 있고, 이 시들은 늘상 그의 세계를 음악과 연결 짓는 시적 환상의 세계였다. “늬 관(棺) 속에 넣었던 악기로다/넣어 주었던 늬 피리로다/잔잔한 온 누리/늬 어린 모습이로다/아비가 애통하는 늬 신비로다 아비로다.”(「음악에서」)와 같이 환상 창조의 작용이 있다.
그러나 이 시인의 삶에 대한 인식태도는, 어린이는 무죄한 순결의 존재인 반면 삶의 때가 묻은 어른은 죄 많은 존재인 것이다. 이러한 죄의식은 후기 시에서 더욱 두드러지며, 시인이 겪는 삶의 참담함과 자신의 깊은 죄의식이 숨김없이 드러나고 있다.
1967년에는 문덕수(文德守)·김광림과 함께 3인 공동 시집 『본적지(本籍地)』를 출간하였고, 1969년에는 한국시인협회 후원으로 첫 개인 시집 『십이음계(十二音階)』를 발간하였다.
그 외의 시집으로 『시인학교(詩人學校)』(1977)·『북치는 소년』(1979)·『누군가 나에게 물었다』(1982) 등이 있으며, 사후에 『김종삼전집』(1989)이 간행되었다. 1971년에는 시 「민간인(民間人)」으로 현대시학상을 수상하였다.