본관은 청풍(淸風). 자는 순경(洵卿), 호는 운양(雲養). 서울 출신. 아버지는 증이조판서·좌찬성 김익태(金益泰)이며, 어머니는 전주이씨(全州李氏)이다. 어려서 부모가 모두 사망하자 숙부 청은군(淸恩君) 김익정(金益鼎)에게 의탁되어 그의 집이 있는 양근(楊根)에서 성장하였다. 유신환(兪莘煥)·박규수(朴珪壽)의 문인이다.
1865년(고종 2) 음관(蔭官)으로 출사하여 건침랑(健寢郎)이 되었다. 1874년 문과에 급제한 뒤 황해도 암행어사·문학·시강원 겸 사서·부응교·부교리·승지 등을 역임하였으며, 1880년 순천부사에 임명되었다.
정부의 개항정책에 따라 영선사(領選使)로서 학도와 공장(工匠) 38명을 인솔하고 중국으로 건너가, 그들을 기기국(機器局)에 배치하여 일하도록 하였다. 한편, 연미사를 위하여 북양대신(北洋大臣) 이홍장(李鴻章)과 7차에 걸친 회담을 하고, 그 결과 조미수호통상조약(朝美修好通商條約)이 체결되었다.
청나라 체류 중 임오군란이 일어나자 문의관(問議官) 어윤중(魚允中)과 상의, 청나라에 파병을 요청하는 동시에 흥선대원군을 제거할 수 있는 방략 등을 제의, 청나라의 개입을 주도하였다. 그 결과 오장경(吳長慶)·마건충(馬建忠)이 이끄는 청나라 군대와 함께 귀국하였다.
임오군란이 수습되고 흥선대원군이 청나라로 납치된 후인 그 해 9월 종사관 김명균(金明均)과 함께 재차 청나라로 건너가 학도·공장 들을 본국으로 철수시켰다. 또한 각종 기기를 도입, 기기창(機器廠)을 설치할 수 있는 기반을 마련하였다.
군란 수습 후 중용되어 호군(護軍)·강화부유수에 임명되고, 규장각직제학을 겸임하였다. 강화부유수로 있을 때 위안스카이[袁世凱]의 도움으로 500명을 선발하여 진무영(鎭撫營)을 설치하였다. 이 영군은 신무기로 무장하고 중국식으로 훈련되었으며, 갑신정변 때 상경하여 궁중 수비를 담당하기도 하였다.
통리내무아문(統理內務衙門)이 설치되자 협판통리내무아문사무(協辦統理內務衙門事務)로 임명되었고, 그 뒤 이 아문의 이름이 바뀌자 협판군국사무(協辦軍國事務)로 임명되었다.
1884년 갑신정변이 일어나자 김홍집(金弘集)·김만식(金晩植)과 함께 위안스카이에게 구원을 요청, 그 결과 청나라 군대와 친군좌우영병(親軍左右營兵)이 창덕궁을 점거하고 있던 일본군을 공격, 정변을 끝냈다.
정변 이후 병조판서를 거쳐 독판교섭통상사무(督辦交涉通商事務)가 되어 대외 관계를 담당하였다. 독판 재임 중 민씨 척족과 친일 급진 개화파 세력에 대항하기 위해 흥선대원군의 귀국을 도모하여 실현하였다.
위안스카이가 새로 주차조선총리교섭통상사의(駐箚朝鮮總理交涉通商事宜)로 부임하자 그의 친청노선(親淸路線)은 한층 굳어졌다.
1886년 4월부터 반대파의 모략이 거세져 어려운 입장에 처했는데, 1887년 5월 부산첨사 김완수(金完洙)가 일상사채(日商私債)에 통서(統署)의 약정서를 발급하였다는 죄목으로 면천(沔川)으로 유배되어 5년 6개월을 지내야 했다. 1894년 석방되었고, 강화부유수로 임명된 것은 그 다음 해 6월이었다.
김윤식이 등용된 것은 청일전쟁 직전으로, 일본 세력의 지원으로 민씨 척족 세력이 제거되고 흥선대원군이 집권에 성공하였기 때문이다.
그 뒤 김홍집내각에 등용되어 군국기무처 회의원으로 갑오개혁에 간여하였고 독판교섭통상사무에 임명되었다. 그 해 7월 정부기구의 개편에 따라 외무아문대신(外務衙門大臣)에 임명되었다.
갑오개혁의 입안자로 참여하는 한편, 일본에 의해 국권이 잠식당하는 굴욕적인 모든 조약이나 조처에 순응하였다. 1896년(건양 1) 2월(이하 양력임.) 아관파천사건이 일어나자 외무대신직에서 면직되었고, 을미사변과 관련해 탄핵을 받고 제주목(濟州牧)으로 종신 정배되었다.
1898년 1월 제주목에 유배되었으나, 그 뒤 민당(民黨)과 천주교인의 대립으로 민요(民擾)가 일어나자 1901년 6월 다시 지도(智島)로 이배되었다.
1907년 7월 일진회(一進會)의 간청과, 정부의 70세 이상자에 대한 석방 조처에 따라 10년 만에 해금되어 서울에 돌아왔다.
서울에 돌아온 뒤 황실제도국총재(皇室制度局總裁)·제실회계감사원경(帝室會計監査院卿)·중추원의장(中樞院議長) 등을 맡아 보았다. 1908년 정부가 주는 훈일등태극장(勳一等太極章)을 받았다.
갑신정변과 을미사변에 관련된 인사들을 중심으로 강구회(講舊會)를 조직하여 회장이 되었고, 이 회가 주최가 되어 애국사사추도회(愛國死士追悼會)를 가지는 등 정치 활동도 하였다.
한편 한말 애국계몽운동이 활발해지자 기호학회(畿湖學會) 회장, 흥사단(興士團) 단장, 그리고 교육구락부(敎育俱樂部) 부장, 대동교총회(大同敎總會) 총장으로 활약하였다.
한반도강점 후 일제가 중추원부의장직과 작위, 연금 등을 주었으나 이를 거절, 후에 고종과 순종의 권유에 따라 작위는 받았다. 1916년에는 경학원대제학(經學院大提學)에 임명되었으나 두문 불출하였다.
1919년 고종이 죽었을 때 위호의정(位號議定)에 있어서 일본측이 ‘전한국(前韓國)’이라는 ‘전(前)’자를 고집하자 이에 항의하였다. 3·1운동이 일어나자 이용직(李容稙)과 더불어 독립을 요구하는 「대일본장서(對日本長書)」를 제출하여 저항하였다.
저서로는 『운양집(雲養集)』을 비롯해 『임갑령고(壬甲零稿)』·『천진담초(天津談草)』·『음청사(陰晴史)』·『속음청사(續陰晴史)』 등이 있다.