본명은 김학소(金學韶). 자는 순익(舜翼)이고, 호는 오석(吾石)이다. 본관은 경주(慶州)이며, 갈천공파(葛川公派) 11대손이다. 1875년 10월 16일 경기도 용인시 기흥읍 농서리(農書里) 254번지에서 아버지 법부 참서관(參書官) 김태식(金泰植)과 어머니 윤현숙(尹顯淑)의 외아들로 태어났다. 유년기에 용인향교에서 대유학자 동전(東田) 맹보순(孟輔淳) 선생으로부터 학문을 익혔다. 당시에 동문 수학한 사람으로는 3·1운동 때 피살된 어대선, 중국으로 이동하여 독립군으로 활동한 이영선, 유학자 김학조 등이 있었다. 1906년 10월 27일 어용성(魚用成)의 차녀 어유순(魚裕順)을 아내로 맞이했다. 1907년 7월 2일 장남 용기가 태어났고, 1913년 2월 16일 차남 인기가 태어났다.
1898년 6월 22일 당시 24세의 나이로 대한제국육군무관학교 1기생으로 입학하여, 1900년 1월 17일 대한제국육군무관학교를 졸업했다. 1900년 1월 19일 육군보병참위(陸軍步兵參尉)로 임관하여, 동년 7월 23일 친위 제1연대에 부임하였다. 1903년 4월 6일 육군부위(陸軍副尉)로 승진하고, 1906년 12월 14일 육군정위(陸軍正尉)로 승진하여 시종무관(侍從武官)을 지냈다. 1907년 8월 1일 한국군이 해산을 당하자 일제와 싸울 것을 결심하고 고향인 용인에 돌아가서 청년들을 규합하고 항일사상을 고취하였다.
1919년 3 · 1운동이 일어나자 향리에서 만세운동에 가담하고 동년 5월 일본 경찰의 사찰을 피해 중국 남만주 봉천성(奉天省) 무송현(撫松縣)으로 망명하였다. 동년 8월 김호(金虎) 등과 함께 수백 명의 애국청년들을 모아 흥업단(興業團)을 조직하여, 단장에 김호를 추대하고 김혁은 부단장으로서 항일투쟁에 전력하였다. 이듬해 9월경 봉천성 안도현(安圖縣) 삼인방(三人坊)에서 홍범도(洪範圖) · 지청천(池靑天) 등 수백 명의 동지들과 함께 의용군을 조직하고 부단장에 선임되어 활약하였다.
1921년 1월 영안현(寧安縣) 밀산(密山)에서 서일(徐一) · 홍범도 · 지청천 · 김좌진(金佐鎭) 등과 합세하여 서로군정서(西路軍政署) · 의용군 · 북로군정서(北路軍政署) · 대한독립단 · 광복단 등 만주의 10개 독립군단체를 통합한 대한독립군단(大韓獨立軍團)을 조직하였다. 당시에 총재 서일 · 부총재 홍범도 · 군사부장 김혁(당시 김오석이라는 이름으로 활동) · 교육부장 김좌진 체제로 대일항쟁을 총지휘하던 가운데 일본군에 쫓겨 러시아의 자유시로 이동했다가 자유시참변(自由市慘變)을 겪고 다시 만주로 돌아왔다.
1925년 3월 15일 영안에서 김좌진과 함께 신민부(新民府)를 조직하고 중앙위원회 중앙집행위원장으로 취임하였다. 신민부가 목릉현(穆綾縣) 소추풍(小秋風)에 성동사관학교(城東士官學校)를 설립하자, 교장을 겸임하여 530여 명의 사관생을 양성함으로써 독립운동 요원을 안정적으로 배출하였다.
1928년 1월 25일 오전 8시경 중동선(中東線) 석두하자(石頭河子)에서 신민부 정기총회를 개최하고 있다가 일본과 만주 경찰 합동수색대의 기습을 받고 항전하던 와중에 박경순(朴敬淳) · 유정근(兪政根) · 이춘섭(李春燮) 등 10여 명과 함께 붙잡혔다. 하얼빈 일본영사관 경찰서에 유치되었다가 이듬해 3월 20일 신의주경찰서로 압송되었다.
1928년 4월 4일 신의주지방법원 검사국으로 송치되어 징역 10년형을 선고받았다. 항소를 취하함으로써 1929년 7월 8일 징역 10년형이 확정되어 평양감옥에서 복역하였다. 1934년 5월경 서대문감옥으로 이감되었다.
1935년 5월 26일 복역수감 이후 8년여의 옥고를 치르던 끝에 병환이 위독해져서 가출옥으로 출감하여 동년 동월 28일 용인군 기흥면 농서리 254번지로 귀향하였다. 1939년 4월 23일 오랜 감옥생활로 얻은 병이 악화되어 향년 65세로 숨을 거두었다.
1962년 3월 1일 대한민국 건국훈장 독립장이 추서되었다. 1974년 3월 1일 용인군 기흥면 농서리에 있던 묘를 국립묘지로 이장하였다. 1985년 8월 15일 용인시 기흥읍에 〈오석 김혁 선생 독립운동 기념비〉를 세웠다. 2023년 11월 제8회 오석문화제가 열렸다. 2024년 4월 23일 오석김혁장군선양회가 주관하는 김혁 선생 순국 85주기 추모제가 국립서울현충원 독립유공자묘역에서 열렸다.