본관은 연안(延安). 자는 계지(季芝), 호는 창산(蒼山). 서울 출신. 김준연(金駿淵)의 아들이다.
1875년(고종 12)에 급제하여 홍문관부교리에 임명되고 1876년 홍문관응교에 임명되었다. 이듬해인 1876년 강화도조약 체결 후 음력 2월 22일 통정 대부에 올랐으며, 예조 참의로 수신사에 임명되니 근대 대일 교섭의 첫 사절이 되었다.
사절 단원 76명을 인솔하고 4월 4일 서울을 출발하여 29일 부산에서 일본 기선 고류마루[黃龍丸]에 승선, 이튿날 시모노세키[下關]에 도착하고 5월 4일 고베[神戶]를 경유하여 5월 7일 요코하마[橫濱]에 입항하여, 일본 외무성 관리의 마중을 받고 특별 열차편으로 동경(東京)에 도착하였다. 그 뒤 5월 27일 동경을 떠날 때까지 20일간 체류하면서 개화한 일본의 문물, 즉 전신과 철도의 가설, 군함과 대포의 제조를 비롯하여 군사 · 기계 · 학술 · 교육 등의 시설을 관람하는 외교 의례상 전례가 없는 환대를 받았다. 김기수의 일본 견문기는 『일동기유(日東記游)』 · 『수신사일기(修信使日記)』에 나타나 있다.
수신사 일행의 보고와 김기수가 고종에게 올린 복명별단(復命別單)은 고종과 명성황후, 그리고 척신(戚臣)과 조정의 신하들에게 개국주의에 커다란 흥미와 관심을 가지게 하였다. 그 결과 일본에 대한 인식이 새로워져 1880년 제2차 수신사 김홍집(金弘集) 일행과 1881년 신사유람단(紳士遊覽團)을 파견하는 계기를 만들었다. 또한, 동경 체류 당시 주일영국공사가 호의를 베풀어 면회하기를 요망하였으나, 구미외국사절과는 일체 접촉을 거부하기도 하였다.
1877년 황해도 곡산군수(谷山郡守), 1879년 덕원부사(德源府使), 1881년 대사성, 1883년 감리의주통상사무(監理義州通商事務) 등을 역임하고, 1893년에 홍주목사(洪州牧使)로 나갔을 때 황간(黃澗) · 청풍(淸風)지방에서 민란이 일어나자 안핵사(按覈使)로 파견되었다. 민란 주모자를 엄한 형벌에 처하여 귀양보내고 전 황간현감 민영후(閔泳厚)와 전 청풍부사 송병두(宋秉斗)는 의금부로 하여금 죄인을 잡아다가 신문하도록 하였다. 이후 관직이 참판에 이르렀으며 문명이 높았다.
저서로는 『일동기유』와 『수신사일기』가 있다.