함경남도 이원군 출신으로 초등학교 졸업 후 일본의 동경에 있는 상업학교에 입학을 한 후 경제적 빈곤을 비롯한 온갖 험난한 유학 생활을 마친 후 일제 말 귀국을 하였다. 1946년에 혼자 삼팔선 이남 지역으로 내려왔다. 피난민 시절 외국어 공부에 힘을 쏟아 1949년에 김포농업고등학교의 영어교사가 된 이후 인천과 서울의 여러 고등학교에서 교사로 근무하였다. 한국전쟁 와중에 의용군으로 끌려간 이력 때문에 곤욕을 치르기도 하였다. 1963년 경기공업전문대학의 교수로 부임하였고, 1974년 민주회복국민선언에 참여하였다는 이유로 해직되었다. 1970·80년대에 민주회복과 분단극복을 위한 진보적 지식인으로서 문학비평 활동을 실천하였다. 2000년에 작고하였다.
1962년 월간 『현대문학』에 「에고에의 귀환」을 발표하면서 문학평론가로서 본격적 활동을 시작하였다. 김병걸은 1970·80년대의 엄혹한 시대를 정면으로 맞선 대표적 리얼리즘의 비평가이다. 이러한 리얼리스트로서의 면모는 1974년에 유신체제를 반대하는 민주회복국민선언에 참여한 것을 비롯하여, ‘자유실천문인협의회’ 결성에 참여하고, 1975년에는 민주회복국민회의 중앙운영위원 및 1978년에는 ‘해직교수협의회’ 결성과 활동에 참여하는 등 이후 1980년대에 이르기까지 양심적 지식인으로서 사회에 참여하는 실천적 면모에서 여실히 나타난다. 1974년에 교수직에서 해직되었다가 1984년에 복직이 허용되었으나 그는 복직을 거부하고 재야에 남아 민주통일민중운동연합 창설에 참여하였고, ‘자유실천문인협의회’가 개편된 ‘민족문학작가회의’의 고문을 지냈다. 그러는 동안 그는 1979년에 YMCA 위장결혼식 사건과 ‘김대중 내란음모 사건’에 연루되면서 고초를 겪었다.
그의 리얼리즘 비평은 1970년대 이후 리얼리즘 논쟁이 전개되면서 소박한 반영론과 기계적 모방론에 머물거나 이러한 것으로 오인되는 리얼리즘을 냉철히 비판하면서 리얼리즘의 실천적 면을 강구하는 데 의의가 있다. 그리하여 그는 리얼리즘의 본질에 대해 그의 평론집 『실천시대의 문학』에서 “객관 사실의 재현이 문제가 되는 것이 아니라, 현실의 객관적인 전체 과정을 객관적으로 바르게 반영하는 것, 요컨대 현실의 필연적인 법칙성을 파악하는 것, 그리고 부분적인 직접성을 지양하고 전체적 관련의 맺음자리라고 할 수 있는 전형적인 것을 통하여 객관적 현실의 총체성을 표현하는 것, 여기에 진정한 리얼리즘의 본질이 있다”고 강조한다. 또한 리얼리즘의 본질을 제대로 실현시키기 위해서는 인간이 관계 맺고 있는 현실 속으로 실존적 기투(企投)를 감행해야 함을 강조했다. 그러한 문학적 용기와 신념이 결여되고서는 리얼리즘 본래의 목적을 실천할 수 없다는 것이다. 따라서 김병걸은 관념과 이론의 차원에서 리얼리즘을 주장하는 게 아니라 자신의 삶 속에서 리얼리즘을 실천하고자 한 리얼리스트였다.
김병걸은 문학평론가로서, 그리고 리얼리스트로서 민주주의적 삶을 훼손시키는 반민족적·반민중적 유무형의 모든 권력에 대해 치열히 투쟁하고 저항하였다.