본관은 화개(花開). 자는 우림(于霖), 호는 창강(滄江), 당호는 소호당주인(韶濩堂主人)을 사용하였다. 개성(開城) 출생으로 아버지는 개성부(開城府) 분감역(分監役) 김익복(金益福)이고, 어머니는 첨지중추부사(僉知中樞府事) 윤희락(尹禧樂)의 딸이다.
1866년(고종 3) 17세의 나이로 성균초시(成均初試)에 합격했다. 20대 전후에 이건창(李建昌)과 교유를 가지면서 문명(文名)을 얻기 시작했다. 1891년(고종 28)에 42세로 진사가 되고, 1894년(고종 31) 편사국주사(編史局主事), 1895년(고종 32) 중추원서기관(中樞院書記官)을 지내고 이듬해 낙향했다. 1903(광무 7)년 다시 홍문관 찬집소(纂集所)에 보직되어 『문헌비고』 속찬위원(續撰委員)으로 있으면서 통정대부에 올랐다. 1905년(광무 9) 학부 편집위원이 되었으나, 이해 겨울에 사직했다. 을사늑약으로 인해 국가의 장래를 걱정하다가 1905년(광무 9) 중국으로 망명하였다. 양쯔강〔揚子江〕 하류 난퉁〔南通〕에서 중국의 진보적인 지식인 장첸〔張騫〕의 협조로 출판소의 일을 보며 생활하였다.
김택영은 망명지 중국에서 생활하였지만, 당대의 주요 인사들과 활발하게 교유하였다. 고국의 인물들과는 주로 시와 편지를 통해 교유하였으며, 중국으로 망명한 항일 인사나 임시정부 인사들과도 왕성하게 교유한 흔적을 확인할 수 있다. 이러한 교유 활동은 단순히 친분을 쌓는 데 그치지 않고 우리나라의 문학 · 역사와 관련한 주요 문헌들을 출판하는 사업으로 구체화되기도 하였다.
김택영은 황현(黃玹) · 이건창(李建昌) 등과 함께 우리나라 한문학사의 끄트머리에 활동한 대가로 평가받는다. 특히 고문가(古文家)로서 문장일도(文章一道)를 주장하였으며, 우리나라 고문의 전통과 맥락을 독자적으로 체계화시켰다. 특히 우리나라의 역대 문장가 가운데 아홉 명을 뽑고 그들의 작품을 선별한 『여한구가문초(麗韓九家文鈔)』는 고문가로서 그의 면모와 감식안을 잘 보여주는 문장 선집이다.
역사 방면으로는 『한국역대소사(韓國歷代小史)』 · 『한사경(韓史綮)』 · 『교정삼국사기(校正三國史記)』 등의 저술을 남겼다. 김택영은 일제강점기에 중국으로 망명하여 중국에서 활동하면서 자신의 시문을 창작하는 일 외에도 우리나라 문학사를 정리한다든가 역사를 정리하는 일에 힘을 쏟았다.
2018년 건국훈장 애국장에 추서되었다.