본관은 안동(安東). 함경북도 나남 출생. 청진교원대학을 졸업하였다. 1941년 『매일신보』 신춘문예에 동화로 등단하였고, 청진교원대학에서 시, 동화 중심의 동인 활동을 하다가 1947년 월남하였다. 1947∼1950년 시 잡지 『죽순』에 「수풀에서」·「바닷가」·「해바라기」 등을 발표하고 잡지 『소학생』에 「연」·「나뭇잎과 보리씨」·「진달래와 고향」·「별 하나 나 하나」 등을 발표하면서 본격적인 작품 활동을 벌였다.
시와 동화 외에 시론과 아동문학론에도 관심을 기울였다. 1955년 문예지 『문학예술』 편집장, 1968년 한국신시60년기념사업회 사무국장, 1971년 국제펜클럽 한국본부 이사, 한국문인협회 부이사장 3선, 1977년 한국문인협회 이사장 직무대행, 1979년 제4차 세계시인대회 사무총장, 1993년 대한민국예술원 회원 등을 역임하였다.
광복 후 초기 작품에서 어린이 세계에 향토색을 도입한 사실적 작품을 주로 썼으나 6·25 이후 현실에 대한 비판과 저항의식을, 후기에는 빛에 대한 탐구와 문명 비판적인 작품세계를 보여준다. 김요섭은 현대를 인간의 본원적 고향이 상실된 고향상실의 시대라고 정의하고 있다.
그는 흔히 빛과 새벽의 시인이라고 지칭되고 있는데 그의 시에서 빛은 우주에서 오는 계시의 빛이며 태양의 빛, 자연 자체가 지니는 사물의 빛 등으로 나뉘어 진다. 그의 시에서 빛의 탐구는 우리가 상실한 인간의 근원적인 고향, 즉 인간의 원점을 발견하여 복원하고자 하는 노력의 일종이다.
시집으로 『체중(體重)』(문성당, 1954)·『달과 기계(機械)』(성문각, 1965)·『국어(國語)의 주인(主人)』(문원사, 1970)·『빛과의 관계(關係)』(보진재, 1973)·『얼굴이 없는 얼굴』(금연제, 1976)·『달을 몰고 휘달리는 진흙의 거인(巨人)』(동서문화사, 1977)·『바이킹 155호를 쏘라』(문천사, 1978)·『은(銀)빛의 신(神)』(동화출판사, 1980) 등이 있다.
그리고 『자오선(子午線) MERIDENS』(불역시집 민희식역, 룩셈부르크 신유럽사, 1982)·『검은 시간이 무덤을 파고』(청하, 1983)·『맥』(한국문연, 1987)·『바이킹 155호를 쏘라』(증보판, 가톨릭출판사, 1989)·『63억 광년을 산 이슬』(가꿈, 1994)·『김요섭 시선(詩選)』(계몽사, 1997) 등이 있다.
평론집으로 『현대시(現代詩)의 우주(宇宙)』(문학예술사, 1985)·『현대 동화의 환상적 탐험』(한국문연, 1986)·『눈보라의 사상(자전)』(한국문연, 1991)이 있다. 대표적인 동화집으로는 『깊은 밤 별들이 울리는 종』(1959)·『날아다니는 코끼리』(1968)·『햇빛과 바람이 많은 골목』(1973)·『어른들을 위한 동화집』(1975)·『지하철 속의 동화』(1979)·『꽃을 먹는 기관차』(1982)·『이슬꽃』(1986) 등이 있다.
소천문학상(1965)·5월문예상(1968)·대한민국문화예술상(1978)·한국시인협회상(1981)·펜클럽문학상(1983)·서울시문화상(1986)·대한민국문학상(1987) 등을 수상하였다.