함경북도 명천 출신이다. 서민의 아들로 태어나 소년 시절에 서당에서 수학하였다. 그 뒤 고향을 떠나 한때 보부상(褓負商)으로 행상하여 자금을 모았고, 함경남도 단천에 와서 금광에 투자, 거부가 되었다.
재화를 얻게 되자 큰 뜻을 품고 한성에 올라와 민영익(閔泳翊)의 집에 기거하면서 금광에 관한 정보를 제공하였다. 1882년 임오군란 때 충주로 피신한 민비(閔妃)와 민영익 사이를 발빠르게 오가며 비밀연락을 담당하였다. 그리고 민영익의 천거로 고종의 신임을 얻어 출세의 길을 잡았다.
단천 감역(監役)에 제수되어 금광을 관리하면서, 이재(理財)의 능력을 인정받아 1897년 내장원경(內藏院卿)에 발탁되었다. 왕실재정을 맡아 궁내부 소속의 삼포(蔘圃)와 광산을 엄중 관리하여 왕실수입을 늘렸다.
또한, 탁지부대신으로 있으면서 전환국장(典讌局長)을 겸무할 때 개정화폐조례(改正貨幣條例)에 따라 국가재정을 충당하고자 백동화(白銅貨)를 대량 발주하였다. 그러나 백동전 대량 발주는 물가앙등과 화폐가치 하락을 가져온다고 하여 당시 독립협회로부터 비판을 받기도 하였다.
당시의 명문 세족은 아니었으나 어렸을 적부터 서당에서 유교 교양을 갖춰 강직한 성품이었고, 청렴하고 이재에 밝은 정치가로 식견이 탁월하여 고종의 신임을 받았다. 그리하여 서북철도국총재·중앙은행총재 등을 역임하면서 근대 개혁에 기여하였다.
재직시에 내장사의 직조소(織造所)를 근대적 공장으로 개편하고자, 모범양잠소를 설치하여 근대적 견직기술을 강습하게 하였다. 그리고 각 도에 공업전습소를 설치하여 염직·직조업·제지업·금은세공·목공의 근대 기술자 양성을 시도하였다. 또한, 사기(沙器)제조회사를 서울에 설립했으며, 총포공장을 건립하기도 하였다.
이밖에 1898년 정부에서 근대식 석판인쇄기계를 도입하여 우표·상표·지계(地契) 등을 인쇄, 발매하고, 1903년에는 박람회를 개최하려고 하였다. 그리고 철도의 부설, 근대금융기관의 설립 등에도 적극적으로 지원하였는데, 이와 같은 근대적 개혁에 많은 영향을 미쳤다.
정치적 입장은 일관성 있게 친로반일(親露反日)적 입장을 고수하여, 1904년 러일전쟁이 일어나자 정부로 하여금 조선의 엄정중립을 선언하게 하였다. 그 결과 전쟁 중 일본으로 압송되어 온갖 회유정책을 받았으나 모두 거절하였다. 그리고 일본에 납치되어 있을 때, 일본의 개화문물에 접하고, 다수의 도서와 인쇄기를 구입하여 귀국하였다.
그 뒤 민족의 역량을 배육하고자 자비로 보성소학(普成小學)과 중학 그리고 보성전문학교(현 고려대학교의 전신)를 설립하여 장차 국가의 동량이 될 인재를 키워내기에 힘썼다. 그리고 편집소 보성관(普成館), 인쇄소 보성사(普成社) 등을 설치하여 민족계몽에 기여하기도 하였다. 3·1운동 때 독립선언문을 인쇄한 것도 이 보성사에서였다.
1905년 을사조약이 강제 체결되어 국권이 박탈되고 이른바 보호정치가 시작되자, 육군부장(陸軍副長)이라는 직명으로 고종의 밀서를 가지고 원조를 요청하기 위해, 프랑스로 향하던 중 6월에 중국 산둥성옌타이항[山東省煙臺港]에서 일본 관헌에게 발각되었다.
이 때 밀령의 책임을 추궁 받을까 염려한 조선 정부에 의해, 일체의 모든 공직에서 파면되었다. 그 뒤 해외를 유랑하면서 계속 구국운동을 전개하다가 뜻을 이루지 못하고 블라디보스토크에서 객사하였다. 사망 시에 고종에게 유소(遺疏)를 남겼는데, 거기에는 ‘광건학교(廣建學敎), 인재교육(人材敎育), 국권회복(國權回復)’ 등을 강조하였다.