1918년 6월 만주 철령으로 건너가 관동도독부 육영학교에서 배우고 개원농장에서 농업 견습을 하였다. 문창범‧윤해 등 대한국민의회 세력, 이동휘(李東輝), 홍도(洪濤) 등 초기 사회주의 세력과 관계를 맺고 활동한 것으로 추정된다.
1919년 3‧1운동 직전인 2월 말에 서울에 들어와 장채극‧김유인‧최상덕 등과 함께 한성정부 수립을 위한 ‘조선국민대회’를 준비하였다. 4월 23일 ‘국민대회사건’으로 투옥되었다. 1920년 9월 석방된 뒤 동생 김사민이 관계하던 조선노동대회에서 활동하였다.
1921년 1월에 서울청년회 결성을 주도하였다. 조선청년회연합회 기관지 『아성』에 다수의 글을 발표하였다. 전통적인 유학적‧불교적 세계관을 극복하는 동시에 근대 자유 민권 사상과 근대성의 모순까지 지적하는 내용이었다. 조선불교청년회에서 강연하기도 하였다.
1921년 10월 도쿄에 건너가 『5‧1신보』 발기에 참가하였다. 같은 달 동생 김사민 등과 사회혁명당을 조직하였다. 11월에는 무정부주의 단체 흑도회(黑濤會) 결성에 참가하였고, 이듬해 1월에는 무산자동지회에 참가하였다. 서울로 돌아와 김약수‧정태신 등 12인과 동경조선고학생동우회(東京朝鮮苦學生同友會) 명의로 「전국 노동자 제군에 격함」(일명 ‘동우회선언’)을 발표하였다.
김사국의 사회혁명당 그룹은 서울청년회 내에서 김윤식 사회장을 추진하는 상하이파 국내부와 동아일보계에 반대하였다. 이 무렵 상하이파 국내부 소속으로 조선노동공제회와 청년회연합회 간부인 최팔용‧오상근‧장덕수 등 9인이 코민테른 자금을 유용한 ‘사기 공산당 사건’이 드러났다. 1922년 4월 조선청년회연합회 제3회 정기총회에서 이들에 대한 불신임안을 제출하고 서울청년회 외 18개 단체가 탈퇴하였다. 같은 해 6월 서울청년회에서도 상하이파 국내부 당원인 장덕수‧김명식‧오상근‧최팔용‧이봉수를 제명하였다. 민족운동 내에서 민족주의와 사회주의의 분화를 보여준다.
1922년 6월 사회혁명당을 해산하고 조선공산당(중립당)을 결성하였다. 3월에 결성된 무산자동맹회는 조선공산당(중립당)의 합법 단체였다. 같은 해 8월 김사국은 조선공산당(중립당) 대표로 국제공산청년회 지도하에 결성된 고려공산청년회 중앙총국에 참가하나, 한 달 만에 탈퇴하였다. 국내 기반이 없는 상하이파와 이르쿠츠크파가 당 통합을 주도하는 것에 반대하였기 때문이다. 같은 해 10월 서울청년회 내부에 독자적인 공산주의 단체를 조직하였다. 사회주의 분파로서 ‘서울파’의 역사가 시작된 것이다.
1922년 10월 차금봉(車今奉) 등과 연대하여 자유노동조합을 창립하는 등 노동운동에 힘썼다. 신생활사 필화사건이 일어나 동생 김사민이 투옥되자 11월 말 간도로 건너갔다. 1923년 2월 서울파 공산주의 그룹인 고려공산동맹이 창립되었다. 김사국은 이를 대표하여 블라디보스토크 코민테른 집행위원회 원동부를 찾았으나 코민테른의 승인을 얻는 데 실패하였다. 김사국은 같은 해 3월 용정(龍井)에 동양학원(東洋學院)을 세워 조선인 혁명가를 양성하고자 하였으나, 일제와 중국 관헌의 탄압으로 폐교되었다. 그 후 영고탑(寧古塔)에 대동학원(大同學院)을 설립하였으나, 중국 관헌에 해산당하였다.
1924년 5월 폐병을 지닌 채 귀국하였다. 통일 당 건설을 위한 ‘13인회’를 주도하였으나, 화요파가 주도하는 조선공산당 결성 과정에서 배제되는 비운을 겪었다. 1926년 5월 8일에 사망하였다.
1925년 5월 12일 김사국의 영결식은 사회운동단체 연합장으로 1,000여 명의 군중이 모인 가운데 치러졌다. 2002년에 건국훈장 애족장이 추서되었다.