본관은 대구(大丘). 자는 서구(敍九), 호는 위산(緯山). 증조부는 순조 때의 영의정 서용보(徐龍輔)이고, 아버지는 이조참판을 지낸 서상익(徐相翊)이다.
일찍이 박규수(朴珪壽)·오경석(吳慶錫)·유홍기(劉鴻基) 등의 영향을 받아 1879년경 김옥균(金玉均)·박영효(朴泳孝) 등과 개화당을 조직하였다.
1880년 증광별시 문과에 급제한 뒤, 규장각대교(奎章閣待敎)·규장각검교(奎章閣檢校)·홍문관부수찬(弘文館副修撰)·홍문관부응교(弘文館副應敎)·세자시강원 겸 사서(世子侍講院兼司書)·세자시강원 겸 필선(世子侍講院兼弼善)·승정원동부승지(承政院同副承旨)·참의군국사무(參議軍國事務) 등을 지냈다.
1882년 4월 김옥균을 수행해 일본의 국정을 시찰하고 귀국한 뒤, 9월 수신사 박영효의 종사관으로 다시 일본으로 건너가 1883년 3월 귀국하였다. 이어 같은 해 6월 보빙사(報聘使) 민영익(閔泳翊)의 종사관으로 미국의 주요 도시 시설을 시찰하고 유럽 각국을 순방하고 다음 이듬해 6월에 귀국하였다.
이와 같은 여러 차례의 외유를 통해 개화·자강의 필요성을 절감하였다. 그리하여 1884년 12월 개화당의 일원으로 갑신정변을 일으켰다. 혁신내각을 수립한 뒤, 좌우영사 겸 우포장(左右營使兼右捕將)·대리외무독판(代理外務督辦)이 되었다.
그러나 즉각적인 청국군 개입으로 정변이 삼일천하로 끝나자 일본으로 망명하였다. 일본에서의 망명생활을 청산하고 1885년 5월 미국으로 건너갔는데, 그 이유는 본국정부로부터의 계속적인 소환 독촉과 일본정부의 냉대 때문이었다.
그 뒤 미국 동부의 뉴욕, 뉴저지주 및 워싱턴에서 망명생활을 하였다. 1892년 미국시민권을 획득하고, 미연방정부의 교육국(Bureau of Education) 번역관으로 취업하였다. 미국정부 기관지와 일반잡지에 「조선교육론(Education in Korea)」과 「조선민담(Korean Stories)」이라는 글을 게재한 것은 바로 이때였다.
한편, 워싱턴에 있는 신지학회(神智學會)와도 관련을 맺어 그 관리인으로 재직하기도 하였다. 1894년 봄 동학농민군의 봉기를 계기로 청일전쟁이 일어나자 일본외무성의 주선으로 귀국하였다. 그 해 12월 17일에 수립된 제2차 김홍집내각(第二次金弘集內閣)의 법부대신에 임용되었다.
그 뒤 내부대신 박영효와 제2차 갑오개혁을 적극적으로 추진하였다. 특히 사법제도의 근대화에 노력을 기울여 재판소구성법·법관양성소규정 등을 제정, 공포하고, 참형(斬刑) 대신 교수형 제도를 채택한 것은 주목할 만하다.
그러나 1895년 10월 을미사변 이후 새로 조직된 제4차 김홍집내각에서 학부대신으로 임명되었고, 12월 11일 주미특명전권공사로 발령받았다.
1896년 2월 국왕의 아관파천으로 친일내각이 무너지자 친러시아파 정권에 의해 부임한 지 7개월 만에 공사직에서 해임되었다. 그 뒤 지병이었던 폐병이 악화되어 미국에서 죽었다.
시호는 익헌(翼獻)이다.