경기도 개성 출생. 송도상업학교(松都商業學校)를 졸업하고 고무공장 사원으로 군산(群山)과 용산(龍山) 등지에 근무하면서 어린 시절부터 시를 쓰기 시작하였다.
불과 열세 살의 어린 나이에 발표한 「가신 누님」(中外日報, 1926)을 비롯하여 「야경차(夜警車)」(동아일보, 1930) 등이 그의 습작품에 해당된다면, 『시인부락(詩人部落)』(1936), 『자오선(子午線)』(1937) 동인으로 가담한 이후의 활동은 본격적인 시단 활동이라 할 수 있다. 특히, 1938년 『조선일보』 신춘문예에 응모하여 당선된 「설야(雪夜)」는 그로 하여금 시단에서 확고한 위상을 확보하게 한 것이다.
이후 그는 『와사등(瓦斯燈)』(남만서점, 1939) · 『기항지(寄港地)』( 정음사, 1947) · 『황혼가(黃昏歌)』(산호장, 1959) 등 3권의 시집을 간행하였다.
그러나 그의 실질적인 시작 활동은 1952년 죽은 동생의 사업을 맡아 경영하면서 중단되고 실업가로 변신하여 국제상사중재위원회 한국위원회 감사, 무역협회 부회장, 한일경제협력특별위원회 상임위원 등을 역임하기도 하였다.
말년 가까이 떠났던 시단 복귀의 신호이듯 이전에 간행한 시집을 정리하여 『와사등』(근역서재, 1977)을 출간하더니, 1982년 「야반(夜半)」 등 5편의 시작을 『현대문학』에 발표하면서 문단 활동을 재개하였다. 그 뒤 문집 『와우산(臥牛山)』(범양사, 1985)과 제4시집 『추풍귀우(秋風鬼雨)』(범양사, 1986) 등을 간행하였다.
김광균은 정지용(鄭芝溶) · 김기림(金起林) 등과 함께 한국 모더니즘 시운동을 선도한 시인으로 도시적 감수성을 세련된 감각으로 노래한 기교파를 대표하고 있다. 그는 암담했던 30년대의 사회현실로서 도시적 비애의 내면공간을 제시하여 인간성 상실을 극복하고자 한 휴머니스트이기도 하다.
그는 지적이고 이지적이라기보다는 감성적이고 낭만적인 시인으로 고독과 슬픔 속에서 실존의 중요성을 확보하고 생의 의미를 긍정하고 있다. 그의 시에는 감각적 이미지와 신선한 비유가 낭만적 정조와 융화되어 서정의 극치를 보이고 있다.