본관은 경주(慶州). 자는 백유(伯猷), 호는 무원(茂園), 당명은 보화(普和), 뒤에 이름을 김헌(金獻)이라고도 하였다. 수원(지금의 화성시 비봉면 구포리)에서 출생, 서울에서 성장하였다. 아버지는 공조판서 김창희(金昌熙)이며, 어머니는 풍양조씨로 판관을 지낸 조희필(趙熙弼)의 딸이다.
1885년 정시 문과에 급제, 한림옥당 · 병조참의 · 예조참의 · 성균관대사성 등을 역임하였다. 1898년 독립협회에 가입하여 대중계몽운동을 하였고, 개혁내각 수립과 의회개설운동이 좌절되어 17명의 독립협회 지도자가 구속되자 대표위원으로 선정, 만민공동회운동을 전개하였다. 1903년 『문헌비고(文獻備考)』 편집위원이 되었다.
1906년 동래감리 겸 부산항재판소판사(東萊監理兼釜山港裁判所判事)와 동래부사로 재직하였다.
그 뒤 비밀단체인 신민회(新民會) 회원과 교우 관계를 맺었으며, 조선광문회(朝鮮光文會)에 들어가 현채(玄采) · 박은식(朴殷植) · 장지연(張志淵) 등과 함께 고전간행사업에 참가하였다.
1909년에는 규장각부제학으로서 『국조보감(國朝寶鑑)』 감인위원(監印委員)을 겸직하였고, 1910년 가선대부(嘉善大夫)가 되었다. 일찍이 민족의 기원과 민족사의 연구에 뜻이 깊어, 대종교가 중광(重光)된 해부터 교인이 되어 각종 문헌을 섭렵, 교(敎)의 역사를 정립하였다.
한편, 영계(靈戒)를 받고 총본사(總本司)의 부전무(副典務) · 경리부장을 지내고, 도사교위리(都司敎委理) · 남도본사전리(南道本司典理) · 총본사전강(總本司典講)을 역임하였다. 1914년 단군 관련 문헌자료를 모아 『신단실기(神檀實記)』를 편찬하였다.
1916년 9월 나철(羅喆)의 뒤를 이어 대종교의 제2대 도사교[都司敎: 교주(敎主)]에 취임하였다. 1917년 일본의 탄압을 피해 총본사를 동만주 화룡현(和龍縣)으로 옮기고 교세 확장을 통한 독립운동 강화와 동포들에 대한 독립정신 교육에 전념하였다. 1919년 3·1운동이 발발하자 3월 11일 경 길림에서 발표한 대한독립선언서에 서명하였다. 같은해 12월 대종교 교인만으로 구성된 북로군정서(北路軍政署)를 조직, 총재에 교단(敎團)의 지도자인 서일(徐一)을 임명하는 등 적극적인 무력투쟁을 전개, 1920년 9월 청산리에서 김좌진(金佐鎭)이 대승리를 거두게 하였다. 그 뒤 일본군의 탄압을 피해 총본사를 영안현(寧安縣)으로 옮겨 선도포교사업(宣道布敎事業)을 통한 구국투쟁에 진력하였다.
1923년 『신단민사(神檀民史)』를 출간하여 민족의식을 고취하였다.
그러나 만주 전역에 걸친 일본군의 토벌작전으로 독립운동 및 교단의 기반이 크게 붕괴되자 병을 얻어 죽었다.
저서로 『신단실기』 · 『신단민사』 · 『홍암신형조천기(弘巖神兄朝天記)』 등이 있다.
1977년 건국훈장 독립장이 추서되었다.