본관은 연안(延安). 평양 출생. 아버지 김치화(金致和)와 어머니 이득화(李得和)의 4남3녀 중 차남이다.
1927년 평양 종로보통학교와 1933년 평양 광성고보(光成高普)를 거쳐, 1936년 연희전문학교 문과에 입학하였으나 1938년 중퇴하였다.
그 뒤 조선곡산주식회사에 다니다가, 평양 명륜여상(明倫女商) 교사로 근무했다. 1946년 1·4후퇴 때 가족을 두고 월남, 대구에서 생활하였다.
이 무렵 중부전선에서 종군작가단으로 활동하였다. 1953년 환도 후 『문학예술』 편집위원, 성동고등학교 강사직을 맡았다. 1957년부터 집필에만 전념하는 한편, 1958년 작가인 박순녀(朴順女)와 재혼, 안정된 생활을 하면서 활발한 창작활동을 전개했다.
일찍부터 문학적인 재질을 나타내 보통학교 때(1925)에 동요 「돌배나무」를 발표한 적이 있었고, 연희전문 재학 당시 단편소설 「환등(幻燈)」(1938)을 발표하기도 했다. 본격적인 작품활동은 1938년 단편소설 「부어(腐魚)」가 『동아일보』에 입선되면서부터이다.
그 당시 평양에서 구연묵(具然默)·김조규(金朝奎)·유항림(兪恒林)·양운한(楊雲閒)·김성집(金聖集)·김화청(金化淸) 등과 함께 동인지 『단층(斷層)』을 발간하면서 「감정세포(感情細胞)의 전복(顚覆)」(1937) 등을 발표했다.
월남 후 종군작가단에 들어 있으면서 작품활동을 재개하여, 1954년「실비명(失碑銘)」을 발표하였고, 이어 「외뿔소」·「달과 더불어」·「소녀 태숙(台淑)의 이야기」·「광풍(狂風)속에서」·「뻐꾸기」 등을 발표하였다. 그 밖에 「실비명」과 함께 대표작으로 꼽히는 「동면 冬眠」(1958) 등 다수의 작품을 집필했다.
또한 단편소설 외에 1962년 역사장편소설 「난세비화(亂世飛花)」를 『한국일보』에 연재하여 대중의 인기를 얻었는데, 1964년 역사장편물 「신홍길동전(新洪吉童傳)」을 쓰던 중 고혈압으로 작고하였다.
그의 작품세계는 대표작 「실비명」·「외뿔소」·「학춤」에서와 같이 사적 체험과는 거리가 있는 주인공의 꿈의 상실에 대한 좌절과 상심을 통해 인생의 비애를 기록하기도 하였으나, 대체로 「관앞골 기억」·「교련과 나」 등의 1920년대 식민지사회의 단면을 제시한 소년시절의 회상이나, 「뻐꾸기」·「동면」·「지게부대」·「허민선생」·「재회」 등의 사소설적 접근으로, 한 지식인의 내면세계를 통해 조명한 1·4후퇴 때 월남한 지식인들의 비참한 삶의 모습의 기록과 같이 사적 체험을 형상화하는 데 주력하였다.
이들 작품에는 식민지시대로부터 6·25전쟁 전후까지 피동적이고 소극적인 자세의 한국 지식인의 초상이 그려져 있다. 그의 문체는 치밀한 구성과 간결한 표현으로 한국적 정한(情恨)의 세계를 관조하는 담담한 심경으로 그려져 있어 독자에게 호소력을 가진다.
작품집으로 단편집 『실비명』(1956)·『동면』(1964)과 아동장편소설 『해와 달은 누구를 위해』(1964) 등이 있으며, 그 밖의 저서로 『문장작법』(1961)이 있다. 단편집 『실비명』으로 1957년 제4회 아세아자유문학상을 수상했고, 1964년 제14회 서울시 문화상을 수상했다.