본관은 단양(丹陽). 일명 김경옥(金景玉)·김재수(金在洙)·김재서(金在瑞)·김상호(金尙浩)·김한조(金漢朝). 자는 이견(利見), 호는 백산(白山)이다.
1903년 대한제국 육군에 입대하여 참교(參校)로 근무하였다.
1906년 의병이 되기 위해 탈영, 영천의 정용기(鄭龍基)와 함께 산남의진(山南義陣)을 일으킨 뒤 연습장(練習將)으로 활약하면서 영일의 입암전투(立巖戰鬪) 등에서 많은 활약을 하였다. 정용기가 죽은 뒤에는 그를 계승한 그의 아버지 정환직(鄭煥直) 진영의 선봉장으로서 영일·경주·청송·영천·대구 근방에서 용맹을 떨쳤다.
1908년 무기조달 관계로 대구에 숨어들었다가 잡혀 종신형을 선고받고 옥고를 치렀는데, 대한제국이 멸망한 뒤 1911년에 이른바 은사령에 따라 출옥하였다.
1915년 대구에서 박상진(朴尙鎭)·채기중(蔡基中)과 함께 대한광복회(大韓光復會)를 결성하였다. 이 조직은 경상북도·충청남도·전라남도·황해도를 비롯한 전국으로 뻗어나가 1910년대 독립운동을 하는 국내 조직 중 가장 큰 규모로 발전하였다.
이때 국내와 국외의 연락책임을 맡아 국내에서는 광주·목포 등지에서 독립군 연락기지 건설과 군자금 모금을 위하여 활약하였고, 만주에서는 안동에 상주하면서 대한광복회와 재만독립군기지인 서간도의 부민단(扶民團), 신흥학교와의 연락업무를 맡았다. 또한 국내로 보내는 무기 조달과 격문 발송 등의 일을 맡아 보았다.
1917년을 전후하여 전국적으로 송달되어 화제가 되었던 대한광복회 격문은 거의 그의 주선에 의하여 배포된 것이다. 또 1917년 11월에 처단된 칠곡의 친일 부호 장승원(張承遠)과 1918년 1월에 처단된 아산의 친일파 도고면장 박용하(朴容夏)에 대한 암살 투쟁과 무기 공급 등에도 깊이 관여하였다.
1918년 대한광복회 조직이 일본 경찰에 발각되어 거의 파괴당하자, 남아 있는 한훈(韓焄)·권영만(權寧萬)과 함께 대한광복회의 조직 회복에 주력하였다. 1920년 군산에서 일본 경찰에 잡혀 무기징역으로 옥고를 치렀다. 그 뒤 감형되어 1937년 풀려나왔다.
출옥 후 옥중에서 얻은 병이 깊어 권영만 등의 지원을 받아 살아가던 중 8·15광복을 맞았다. 그 뒤 권영만·이관구(李觀求: 일명 李海量) 등과 함께 대한광복회를 재건하여 독립운동 유적지를 정화하는 사업에 전념하였다.
1963년 건국훈장 독립장이 추서되었다.