본관은 김해(金海)이고, 호는 하남(霞南)이다. 우화 기법이나 신화 변용을 통해 독특한 작품 세계를 드러내면서, 전후 한국사회의 부패상이나 혼란에 대한 소설적 비판을 수행하였던 작가이다. 1960년대 중반 이후에는 역사소설의 집필에 치중하였다.
1919년 1월 17일 함경남도 풍산에서 아버지 김병협과 어머니 강정 사이의 차남으로 태어났다. 1936년 한남중학교에 입학하였으며, 1940년 졸업 후에는 일본 야마구치고등학교에 입학하였다. 1943년 도쿄대학 법과에 입학하였으나 1944년 중퇴하였다. 해방 후인 1946년 서울대학교 문리대와 사범대, 한국외국어대학의 강사를 지냈다. 1950년 『서울신문』 신춘문예에 당선되어 문단에 데뷔하였으며, 1955년 사상계사에 입사한 후에는 주간을 역임하였다. 1958년 사상계사를 퇴직한 후 1965년에는 영국으로 떠나 맨체스터대학교 대학원 석사과정에서 사학을 전공하여 인문과학 석사학위를 받았다. 이후 다시 한국으로 돌아와 1981년 퇴임할 때까지 동아일보사에서 근무하였으며, 1986년에는 대한민국 예술원 회원이 되었다. 2010년 9월 6일 노환으로 타계하였다.
1950년 『서울신문』의 신춘문예에 단편 「무명로」가 당선되면서 문단 활동을 시작한 후, 단편 「김가성론」(1950)과 「암야행」(1954), 「제우스의 자살」(1955, 이후 「개구리」로 개제) 등으로 주목받았다. 특히 「오 분간」(1955)과 「바비도」(1956)는 평단의 주목을 각별하게 받은 작품이다. 이 시기 그는 동물을 통한 우화 기법이나 신화 또는 서구 역사의 일화를 변용한 알레고리 수법의 작품들을 주로 썼지만, 어디까지나 주요한 관심은 얼핏 보기에 낯선 시공간의 사건을 통해 전후의 부패하고 혼란스러웠던 한국사회를 풍자하고 비판하는 데 있었다. 1960년대 중반에 사학을 전공하면서 그의 관심은 역사소설로 옮아가 『이성계』(1966), 『이마』(1976), 『요하』(1980) 등을 상재하였으며, 1990년에는 대하역사소설 『임진왜란』을 발표하기도 하였다.