경상남도 거창 출생. 광복 직후 ‘조선문학가동맹’에 가담하였으며, 1946년 이병철(李秉哲)·박산운(朴山雲)·유진오(兪鎭五) 등과 『전위시인집(前衛詩人集)』을 발간하고 광복기 활발한 문학 활동을 하였다. 그의 시작품들도 대부분 이 때 쓰여진 것들이 많이 알려져 있다.
주요 작품으로 「편복(蝙蝠)」(학병, 1946)·「장렬(葬列)」(학병, 1946)·「시위행렬」(민심, 1946)·「맹서」(민심, 1946)·「전원애화(田園哀話)」(신천지, 1946)·「아버지의 창 앞에서」(문학, 1946)·「어머니」(문학, 1946)·「삼동」(서울신문, 1947)·「경부선」(신천지, 1948)·「밤」(새한민보, 1948)·「길닦기노래」(개벽, 1948)·「취월선생(醉月先生)」(개벽, 1949)·「소」(새한민보, 1949)·「국화」(문학, 1950)·「국토」(연합신문, 1950) 등이 있다.
그의 시의 내용을 살펴보면 일제와 그에 의해 야기된 사회악에 대한 비판과 강렬한 저항의식이 주조를 이루고 있다. 그의 시 곳곳엔 역사와 시대적 상황으로 인해 빚어진 갈등이 표출된다.
「편복」은 1944년 원산으로 징용갔던 자신을 박쥐로 비유하고 있으며 「전사자 S야」는 일제와 ‘일제의 잔뿌리’를 청산하지 못한 현실에 맞서 싸우겠다는 의지를 보여주고 있다.
같은 해 발표된 「경부선」은 부산 항구에 산더미처럼 쌓인 서양 상품들을 보며 침략자에 의해 건설된 철도가 계속해서 서양 침략자들의 이용물이 되고 있음을 개탄하고 있다. 또 그는 농촌의 형상화를 통해 광복 이후 나아진 것이 없는 농부들의 생활을 그리고 있다.
일제의 핍박 대신 칼든 화적의 갈취로 고통받는 농부들을 그린 「전원애화」, 소나무껍질까지 앗아간 일제와 농부들을 착취하는 모리배들을 저주하는 내용을 담고 있는 「송피」(문학, 1947) 등이 이와 같은 내용의 시이다.
이와 같은 사상적 지향은 그의 시를 「가족」이라는 장편서사시로 나아가게 만든다. 하지만 이 시에는 서사시의 일반적 특징이라 할 수 있는 영웅이나 신화적 인물이 나타나 있는 것이 아니라 평범한 민초의 삶이 그려져 있다.
황 참봉에 짓밟힌 소작인의 딸 복례, 혁명에 동참하는 황 참봉의 아들 위우, 그리고 꿋꿋한 의지를 갖고 혁명의 길로 뛰어드는 돌쐬 등의 형상화를 통해 희망찬 새날을 위해 다시 일어선다는 의지를 담고 있다.
월북 이후 김상훈의 시세계에 드러나는 특징은 김일성(金日城) 찬양과 인민선동이라는 북한 문학의 도식성을 영롱한 서정성으로 어느 정도 극복하고 있다는 점을 들 수 있다.
그러나 1961년 발표된 「당신이 주신 햇빛 아래」·「단조공의 노래」나 유고 시선집인 『흙』(1991) 등을 살펴보면, 그의 시도 이전에 담겨 있던 개성적인 목소리가 사라져 버린 체제순응적인 시로 전락되어 있음을 알 수 있다. 평론으로는 「테러문학론」(문학, 1947)·「우리 나라 민요의 몇가지 특성에 대하여」(1962)가 있다.