관념적 지식인인 독고준의 내면 서술과 독백 중심으로 구성되어 있다.
이야기의 배경은 1958년 가을부터 1959년 여름까지이다. 즉 4.19 혁명 직전의 한국사회를 배경으로 하면서 당대 젊은 지식인들의 고뇌와 우울, 전망을 그리고 있다.
1958년 어느 비 내리는 가을 저녁에 국문학도이자 소설을 쓰는 독고 준의 하숙집으로 친구인 김학이 찾아온다. 학은 학술 동인지 『갇힌 세대』에 실린 독고 준의 작품에 대한 이야기를 하다 준에게 동인회 가입을 권하지만 준은 스스로를 현실에 뿌리내리지 못하고 방황하는 이데올로기의 피해자로 여긴다. 학은 정치학도로서 사회변혁을 꿈꾸는 급진적 행동주의자인데 반해, 준은 사색적이며 관념적이며 사회의 변혁에도 회의적이며 소극적이다.
준은 학이 떠난 뒤 떨어지는 빗방울을 바라보며 공상과 상상이 혼합된 관념의 여행을 떠난다. 어린 시절의 집과 밭과 학교, 그리고 아버지와 자신의 모습 등 회상과 사념(思念)의 여행 속에서 준은 이데올로기와 현실로부터 소외되어 있는 자신을 발견한다. 그는 현실로부터 스스로를 소외시키며 적응하지 못하며 상념의 시간들을 보내는 자신의 비겁함과 소심함에 끊임없이 갈등한다. 1959년 비 내리는 어느 여름날 저녁, 친구 김학이 독고 준을 찾아온다. 두 사람은 함께 술을 마시며 많은 이야기를 나눈다. 이야기 끝에 김순임에 대한 이야기가 나오자 한순간 분위기는 어색해지고 만다. 이야기 끝에 시간이 늦었다는 핑계로 김학은 돌아간다. 친구를 보내고 난 독고 준은 오랫동안 잠들지 못하고 뒤척이다가 아래층에 있는 이유정의 방문을 열고 안으로 사라진다.
「회색인」은 최인훈의 소설 속에서 지적(知的) 독백과 사변적인 경향을 강하게 보여주는 대표 작품 중 하나다. 작가 스스로 이 작품을 두고 “통과의례 규정을 자기 손으로 만들어야 하겠다는 집념에 사로잡힌 어떤 원시인 젊은이의 공방(空房)의 기록”이라고 말한 적이 있다. 또한 「광장」, 「서유기」, 「소설가 구보씨의 일일」 등의 작품들과 더불어 작가의 자전적 색채와 작품 세계를 대표적으로 보여준다. 그의 대개의 작품들이 그렇듯 「회색인」 역시 한국사회의 모순와 부조리를 날카롭게 드러내면서 지적이며 비판적인 성찰을 담아낸다. 특히 이 작품은 인물들의 관념적 사고와 논리적 사변(思辨)을 통해 한국전쟁 이후의 젊은이들이 겪는 갈등과 고뇌, 가치관과 의식을 잘 보여주고 있다.