본관은 청풍(淸風)이며, 호는 삼성(三醒, 三省). 황해도 해주 출신이다.
독립협회 운동이 기세를 올릴 무렵 경무관(警務官)으로서 만민공동회에 가담하였고, 상부에서 그 회원들을 잡아들이라 하였을 때, 체포를 지연 또는 피신시켰다. 관직에서 물러난 뒤에는 지하운동을 계속하였다.
그러던 중에 이상재(李商在) 등 독립협회 동지들과 함께 일본에 망명간 박영효(朴泳孝) 등 지도자들과 공모하여 정부전복을 음모하였다는 흉계에 걸려들어 1902년 6월이상재·유성준(兪星濬)·홍재기(洪在箕)·이원긍(李源兢)·이승인(李承仁) 등과 함께 국사범의 혐의로 체포되었다.
옥중에서 심령의 변화를 입어서 기독교인이 되었다. 3년간의 옥살이 끝에 1904년 3월 석방되어 옥중동지들과 함께 연동교회에 입교하는 한편, 황성기독교청년회에 가입하였다.
교회 안에서는 교육협회 및 부용회(芙蓉會)라는 청소년운동체를 조직하였고, 황성기독교청년회의 초대 한인총무가 되어 서구식 교육과 체육운동 등을 개척하였다. 1906년 8월에는 일본 동경에 파송되어 동경조선기독교청년회를 창설하고, 초대총무가 되었다.
조만식(曺晩植)·장혜순(張惠淳) 등 초창기 회원들과 함께 유학생을 보호, 지도하는 한편 1907년 제7회 세계기독학생연맹세계대회가 동경에서 열렸을 때 윤치호(尹致昊)·김규식(金奎植)·민준호(閔濬鎬)·김필수(金弼秀) 등과 함께 우리 나라 대표로 참석하여 조선교회연합운동의 선봉을 서게 되었다.
한편 일본에서 조선기독교회(오늘날의 대한기독교회총회)를 조직하였다. 즉, 1909년 제3회 조선예수교장로회독로회가 평양에서 모였을 때 한국유학생들을 위한 교회창설을 건의한 결과, 목사 한석진(韓錫晉)을 파송받아 청년회회관에서 정식예배를 보기 시작했다.
그 때 교회간부로 김정식을 비롯하여 조만식·오순형(吳舜炯) 등 3인의 영수와 백남훈(白南薰)·장혜순 등 4인의 집사가 있었다.
그 뒤에 이 교회는 장로교와 감리교의 연합교회로 발전하여 2년마다 장로·감리 두 교파 목사들이 번갈아 파송되었다.
그리고 우치무라(內村鑑三) 등 일본교계 지도자들과 교분이 두터워 무교회주의 신앙을 우리 나라에 도입하는 데 큰 구실을 하였다. 또한 신해영(申海永)과 손잡고 유학생단체인 대한흥학회(大韓興學會) 육성에 힘썼다.
대한흥학회는 일제의 탄압으로 1909년에 해산되었으나 다시 이를 각 지방별 학생친목회로 재건하여 학우회(學友會)로 발전할 수 있게 함으로써 1919년 동경 기독교청년회회관에서 2·8선언이 이루어질 수 있게 하였다. 1912년 105인사건 때에는 그 진상을 폭로하다가 1914년 총무직에서 쫓겨나 귀국하였다.