1919년 평양에서 태어나 소학교를 마치고 수암(守巖) 김유탁(金有鐸), 이당(以堂) 김은호(金殷鎬), 소정(小亭) 변관식(卞寬植) 문하에서 그림을 배웠다. 치밀한 고증을 통한 역사풍속화와 기독교 성화를 많이 남겼다.
김학수는 1919년 평양 하수구리 서문통에서 필방을 운영하는 김석찬(金錫燦)과 신인명(申仁明)의 장남으로 태어났다. 1930년 사립소학교 신흥학원을 졸업하고 개척군 성경구락부에서 3년간 수학하였다.
1936년 김유탁의 문하에 들어가 사군자를 배우기 시작했다. 이듬해 기성서화회(箕城書畫會)가 창립되자 회원으로 참여하는 한편, 계당(桂堂) 서정성(徐貞成)에게 서예와 한문을 배우고 석하(石下) 김우범(金禹範)에게 산수화와 인물화를 배웠다. 1942년 서울로 상경하여 김은호 문하에 들어가 2년간 사사하였고, 1943년에는 조선미술전람회에 「노안(蘆雁)」을 출품하여 입선하였다. 1944년 다시 평양으로 돌아간 뒤 평화야간중학교와 성화신학교에서 교편을 잡았다.
6·25전쟁이 발발하자 홀로 피난을 내려와 1955년 변관식 문하에서 사사하였다. 1966년 신세계화랑에서 첫 개인전인 「혜촌 김학수 한국풍속화」전을 열었고 이후 한국의 풍속과 역사를 주제로 한 역사풍속화와 기독교 성화를 활발히 제작하였다. 1980년대 이후에는 주제별 연작에 몰두하여 「능행도」, 「삼강행실도」, 「세종대왕 일대기」 등의 작품을 남겼다. 1983년부터 1985년에는 기독교 성화를 모아 『예수의 생애』라는 화집을 출간하였다.
김학수의 대표작으로는 1964년부터 40년에 걸쳐 1,300리 한강 풍경을 그린 「한강전도」가 있다. 김학수의 산수화는 섬세하고 사실적으로 대상을 묘사하면서도 화면 전체에 웅장하고 활달한 힘이 넘치는 것이 특징이다.
1992년 한국기독교미술인상과 대한민국문화훈장을 받았으며 의재미술상(2000), 아름다운미술인상(2001), 인제대학교 인성대상(2002) 등을 수상하였다. 2003년 인제대학교에 김학수기념박물관, 2007년 경민대학교에 혜촌기념관이 개관하였다.