본관은 연안(延安). 자는 사정(士精), 호는 담정(藫庭). 할아버지는 김희(金喜), 아버지는 김재칠(金載七)이다. 집안이 노론계의 비중 있는 명문이다. 당쟁의 화를 많이 당했다.
1780년(정조 4) 15세에 성균관에 들어갔으며, 당시에 유행하던 패사소품체(稗史小品體)의 문장을 익혔다. 그리고 김조순(金祖淳)과 『우초속지(虞初續志)』라는 패사소품집을 냈다. 이옥(李鈺) 등과 활발한 교유를 하면서 소품체 문장의 대표적 인물로 주목받았다. 이때부터 1797년에 부령(富嶺)으로 귀양갈 때까지 청암사(靑巖寺) · 봉원사(奉元寺) 등에서 독서하였다.
1791년 생원이 되었고 촉망받는 인재로 인정을 받았다. 김려는 1797년에 강이천(姜彝天)의 비어사건(飛語事件)에 연좌되어 부령으로 유배되었다. 유배지에서 부사 유상량(柳相亮)과는 반목하고 가난한 농어민과 친밀하게 지냈는데, 이는 그의 문학에 고통받는 사람들에 대한 이해와 애정이 큰 비중을 차지하게 하였다.
그곳에서 부기(府妓)인 연희(蓮姬) · 노심홍(盧沁紅) · 관옥(關玉) · 영산옥(寗山玉) 등과 어울리며 그들의 처지를 이해하고 그들을 위한 시를 지어 필화(筆禍)까지 입었다.
그는 지방의 자제들을 가르치면서 그들이 화려하고 속이 빈 벌열(閥閱)보다 더 우수한 인재라고 강조하고 그들에게 벌열들에 대한 비판의식을 키웠다. 이로 인해 1799년에 유배지에서 필화를 당했으며, 그의 저서는 이때 대부분이 불에 탔다.
1801년(순조 1)에 강이천사건이 재조사되어, 김려는 천주교도와 교분을 맺은 혐의로 진해로 유배되었다. 그곳에서 어민들과 친해져서 『우해이어보(牛海異魚譜)』를 지었다.
1806년에 아들의 상소로 10년간의 유배생활이 끝났다. 1812년에 의금부를 시작으로 벼슬길에 올라 정릉참봉(靖陵參奉) · 경기전영(慶基殿令)을 거쳤다. 1817년에 연산현감(連山縣監)이 되었다. 1819년에 연산을 떠난 뒤부터 몸이 약해졌다. 함양군수로 재직 중에 일생을 마쳤다.
저서로 『담정유고』 12권이 있으며, 자신과 주위 문인들의 글을 교열하여 『담정총서』 17권을 편집하였다. 말년에는 『한고관외사(寒皐觀外史)』 · 『창가루외사(倉可樓外史)』 등 야사를 편집했다. 『우해이어보』는 정약전(丁若銓)의 『자산어보(玆山魚譜)』와 함께 우리나라 어보의 쌍벽을 이룬다.