본관은 화개(花開). 자는 우림(于霖), 호는 창강(滄江), 당호는 소호당주인(韶濩堂主人). 경기도 개성 출생. 아버지는 개성부(開城府) 분감역(分監役) 김익복(金益福)이고, 어머니는 첨지중추부사(僉知中樞府事) 윤희락(尹禧樂)의 딸이다.
소년시절부터 고문과 한시를 공부해서 1866년(고종 3) 17세의 나이로 성균초시(成均初試)에 합격했다. 20대 전후에 이건창(李建昌)과 교유를 가지면서 문명(文名)을 얻기 시작했다. 34세인 1883년(고종 20) 김윤식(金允植)의 추천으로 당시 서울에 와 있던 중국의 진보적인 지식인 장지엔[張謇]과 알게 되었다. 장지엔은 그의 시문을 격찬했다.
1891년(고종 28)에 42세로 진사가 되고, 1894년(고종 31) 편사국주사(編史局主事), 1895년(고종 32) 중추원서기관(中樞院書記官)을 지내고 이듬해 낙향했다. 1903(광무 7)년 다시 홍문관 찬집소(纂集所)에 보직되어 『문헌비고』 속찬위원(續撰委員)으로 있으면서 통정대부에 올랐다.
1905년(광무 9) 학부 편집위원이 되었으나, 이 해 겨울에 사직했다. 을사조약으로 국가의 장래를 통탄하다가 1905년(광무 9)중국으로 망명하였다. 양쯔강[揚子江] 하류 난퉁[南通]에서 장지엔의 협조로 출판소의 일을 보는 것으로 생계를 유지했다. 이 시기에 그는 창작활동과 병행해서 한문학에 대한 정리 · 평가와 역사 서술에 힘을 기울였다.
한편, 이승만(李承晩) 등과 관계가 있어 중화민국정부에 우리나라 독립 지원을 요청하는 진정서를 썼다. 중국의 계몽사상가인 량치차오[梁啓超] · 장핑린[章炳麟] 등과도 교유가 있었다.
김택영은 한문학사의 종막을 장식하는 대가로서 시에서의 황현(黃玹)과 문(文)에서의 이건창과 병칭된다. 그는 고문가(古文家)로서 문장일도(文章一道)를 주장하였으며, 우리나라 고문의 전통과 맥락을 독자적으로 체계화시켰다.
이것이 『여한구가문초(麗韓九家文鈔)』이다. 그의 시는 호방하고 화려하여 신운(神韻)을 중시하는 경향이 있다.중국 망명 이후에는 주로 우국적인 시작품을 많이 썼다. 특히, 망국의 한을 작품 속에 담아 내어 지식인으로서의 고뇌를 표출 하였다. 「오호부(嗚呼賦)」는 대표적인 작품으로 그의 역사인식을 잘 보여주고 있다.
고문은 명나라의 귀유광(歸有光)과 박지원(朴趾源)의 문장을 좋아하여 웅혼한 기상이 있다. 저서로는 『한국역대소사(韓國歷代小史)』 · 『한사경(韓史綮)』 · 『교정삼국사기(校正三國史記)』 등이 있고 시문집으로 『창강고(滄江稿)』와 『소호당집(韶濩堂集)』이 있다.
2018년 건국훈장 애국장이 추서되었다.