아버지의 목회지(牧會地)를 따라 제주시에서 유년시절을 보냈으며, 7세 되던 해에 전라남도 광주로 이주하여 기독교계통의 숭일학교(崇一學校)와 평양의 숭실중학교를 졸업하고, 1936년 숭실전문학교 문과 3년을 수료하였다. 그 뒤 모교인 숭일학교 교사(1936), 조선대학교 교수(1951∼1959), 숭전대학 교수(1960∼1975), 한국문인협회 부이사장(1970) 등을 역임하였다.
문단활동은 숭실전문학교 재학 때 장시(長詩) 「쓸쓸한 겨울저녁이 올 때 당신들은」이 양주동(梁柱東)의 추천으로 『동아일보』(1934)에 게재되면서부터 시작된 이후, 낭만적 장시 「새벽은 당신을 부르고 있읍니다」(1934) · 「새벽 교실(敎室)」 등을 계속 발표하였다. 그 뒤 1953년부터 광주에서 계간지 『신문학(新文學)』을 6호까지 간행하였으며, 이때의 시로 「내가 나의 모국어(母國語)로 시(詩)를 쓰면」(1952)이 있다.
그는 독실한 기독교인으로서 기독교정신과 인간주의를 바탕으로 하는 내용을 시로 형상화하여 독특한 시세계를 이루었다. 제1시집 『김현승시초(金顯承詩抄)』(1957)와 제2시집 『옹호자(擁護者)의 노래』(1963)에 나타난 전반기의 시적 경향은 주로 자연에 대한 주관적 서정과 감각적 인상을 노래하였으며, 점차 사회정의에 대한 윤리적 관심과 도덕적 열정을 표현하였다.
그가 추구하는 이미지들의 특징은 가을의 이미지로 많이 나타나는데, 덧없이 사라지는 비본질적이고 지상적인 가치를 상징하는 꽃잎 · 낙엽 · 재의 이미지와, 본질적이며 천상적인 가치를 상징하는 뿌리 · 보석 · 열매의 단단한 물체의 이미지의 이원적 대립으로 표현되고 있다는 점이다. 그가 표현한 시적 방법의 특징은 절제된 언어를 통하여 추상적 관념을 사물화(事物化)하거나, 구체적 사물을 관념화하는 조소성(彫塑性)과 명징성(明澄性)에 있다고 할 수 있다.
후기 시세계로의 전환을 보여주는 제3시집 『견고(堅固)한 고독』(1968)과 제4시집 『절대(絶對)고독』(1970)의 시세계는 신에 대한 회의와 인간적 고독을 시적 주제로서 줄기차게 추구함을 보여준다. 1974년에는 『김현승전시집(金顯承全詩集)』을 펴냈고, 유시집(遺詩集) 『마지막 지상(地上)에서』(1977), 산문집 『고독(孤獨)과 시(詩)』(1977)가 간행되었다. 문학개설서로는 『한국현대시해설』(1972)이 있다.
1955년 제1회 전라남도문화상, 1973년 서울시문화상을 받았다. 광주 무등산도립공원에 그의 시비가 세워져 있다.