본관은 김해(金海). 자는 자고(子皐), 함경북도 경흥의 토반 출신. 어릴 때 아버지를 여의고 작은아버지 김인승(金麟昇)을 따라 러시아령 블라디보스토크로 이주한 뒤 그 곳에서 성장하였다.
1876년에 일본에 건너가 약 1년반 동안 동경에서 우치무라[內村直義]의 무급(無給) 어학교사 자격으로 머무른 일이 있었다. 또 만주의 길림(吉林)과 중국 북경에도 드나든 적이 있어 비교적 해외사정에 밝았을 뿐만 아니라 러시아어 · 일본어 · 중국어에 능통하였다.
1878년과 1880년 두 차례에 걸쳐 변경 사무로 블라디보스토크에 파견되었던 함경도 경성(鏡城) 출신 관리 장박(張博)의 주선으로 서울에서 정계에 진출하였다. 1884년부터 1886년까지 기기국위원(機器局委員) · 전환국위원(典圜局委員) 등을 지냈다.
이 시기에 국왕의 총애를 받으면서 정부가 추진한 각종 개화사업, 특히 일본 및 청나라로부터의 선박 · 무기 구입, 전선가설, 전선기술자의 양성, 그리고 모스부호의 도입 등에 종사하였다.
1886년 8월 이른바 제2차 한러밀약사건이 발생하였다. 이 때 서울에 파견된 청나라의 주차관(駐箚官) 위안스카이[袁世凱]로부터 한러밀약을 방조한 반청독립노선파(反淸獨立路線派) 인물로 지목되어 유배형에 처해졌다. 그러나 이 때 러시아 및 미국 공사관측의 개입으로 곧 관직에 복귀할 수 있었다.
그 뒤 전운서낭청(轉運署郎廳) · 연무공원사무(鍊武公院司務) · 기기국사사(機器局司事) 등 개화 담당부서의 요직을 맡아 자주 일본을 내왕하면서 기선과 석탄 구입을 주선하였다. 또 국내에서는 밀어채(密漁採)와 밀무역을 막는 일에도 종사하였다.
1894년 7월에 갑오경장이 시작되고 청일전쟁이 발발하자 친일개혁관료 가운데 한 사람으로 정계에 두각을 나타났다. 내무부참의직을 거쳐 군국기무처회의원 겸 법무아문협판 · 법무아문대신서리 등 요직을 차지하고 김홍집(金弘集) · 유길준(兪吉濬) 등과 갑오개혁을 주도하였다.
그 결과 반일세력인 대원군파의 미움을 받아 그 해 10월 31일에 흥선대원군 및 이준용파(李埈鎔派)의 자객인 전동석(田東錫) · 최형식(崔亨植) 등에 의해 암살당하였다.