1851년 10월 23일에 경상북도 선산에서 태어났다. 13도의병연합부대 군사장 허위(許蔿, 1855∼1908)의 형이다. 을사늑약에 반대하여 의병을 일으켜 활동하다가 만주로 망명한 뒤 부민단의 초대 단장을 맡아 ‘무오독립선언’에 참여하였다.
1905년에 을사늑약(乙巳勒約)이 체결되자 반대 상소를 올렸고, 박제순, 이지용, 이근택, 이완용, 권중현 등 을사5적을 살해할 계획을 세웠다가 일본 경찰에 체포되었다. 그 뒤 뜻을 같이한 동지 4백여 명과 함께 경기도 연천 등지에서 의병을 일으켰다.
1912년에는 허위의 유족을 데리고 만주로 망명하였다. 김동삼(金東三, 1878∼1937)·유인식(柳寅植, 1865∼1928) 등과 함께 중어학원(中語學院)을 개설하여 만주로 이주한 한인의 현지 정착을 도왔다. 통화현(通化縣) 합니하(哈泥河)에서 경학사(耕學社)를 계승하여 만주로 이주한 한인의 자치기관으로 부민단(扶民團)을 조직하여 초대 단장을 맡아 민생·교육·군사 등의 구국 운동을 전개하였다.
1918년 음력 12월에는 만주와 노령의 독립운동 지도자 39명이 참여하여 발표한 ‘대한독립선언서(무오독립선언서)’에 서명하였다. 그 뒤 1922년에 부하 30여 명과 함께 국내에 들어와 군자금을 모집하다가 동대문경찰서 경찰에게 체포되어 옥고를 치루었으며, 출옥 후에도 다시 만주로 망명하여 독립운동에 헌신하였다. 1939년 10월 21일에 길림성 주하현(珠河縣) 하동에서 세상을 떠났다.
1968년에 대통령 표창이 수여되었으며, 1991년에는 대한민국 건국훈장 애국장이 추서되었다.