본관은 함양(咸陽). 자는 사원(士元), 호는 하정(荷亭). 아버지는 여풍섭(呂豊燮)이며, 어머니는 윤씨이다.
어려서 아버지를 여의고, 어머니에게서 글을 배웠다. 1882년(고종 19)에 문과에 급제해 외아문주사(外衙門主事)에 임명됐다가, 교리(校理)를 제수 받았다.
1886년(고종 23)에 신기선(申箕善)을 신문할 때에 문랑(問郎)으로서 빠른 문답을 번개같은 솜씨로 받아 적어 사람들로부터 재능이 뛰어나다는 평을 들었으나 벼슬은 오래도록 제자리였다. 왕과 명성황후가 요사스런 무당 진령군(眞靈君)의 말을 믿어 여씨(呂氏)를 가진 사람을 멀리해 선발 명단에 들지 못하였기 때문이다.
얼마 뒤에 사간(司諫)에 제수됐으나 이때에 당론을 달리하는 동료가 그의 사람됨을 논하자 병을 핑계대고 사직했다가 익산(益山)에 귀양갔다. 귀양에서 돌아와 몇 년 지나서 민영달(閔泳達)의 연회에 가서 지은 “술은 회수(淮水)와 같고 고기는 산과 같다(有酒如淮肉似山)”는 구절이 임금의 눈에 거슬렸다고 전한다. 얼마 뒤에 과거 시험장에서의 일에 연루돼 1893년(고종 30)에 다시 금갑도(金甲島)에 유배됐다.
1894년(고종 31)에 동부승지에 임명됐다가 초도(椒島)에 유배됐다. 일제에 의하여 통감부(統監府)가 설치되면서 풀려났다. 서울로 돌아와 사립학교인 대동학교(大東學校)에서 교사로서 학생들을 가르쳤으며, 뒤에는 관립한성고등학교(官立漢城高等學校)의 주임교유(主任敎諭)에 임명돼 한문과(漢文科)를 담당하다가 74세에 죽었다.
잦은 유배로 생활이 불안정했고 집은 매우 가난해 이틀에 한 번 불을 때어 밥을 지을 정도였다고 한다. 재주가 뛰어났지만 성품이 얽매임이 없는데다가 오랫동안 억눌려 있었기 때문에 마음에 쌓인 수심을 오로지 술로 풀려고 했다.
시문(詩文)에 매우 뛰어났으며 음률(音律)에도 통했고 기하(幾何)·산수(算數)·초목(草木)·충어(蟲魚)·성력(星曆) 등의 여러 분야의 학문에도 두루 밝았다. 그래서 시(詩)·서(書)·문(文)을 비롯하여 사(射)·금(琴)·기(棋)·주(酒)를 잘한다고 하여 ‘칠절(七絶: 7가지에 뛰어남)’이라 불리기도 했다.
뛰어난 문장과 해박한 지식, 그리고 숱한 기행(奇行)으로 이건창(李建昌)·김윤식(金允植)·정만조(鄭萬朝) 등과 한문학사의 대미를 장식한 한학자로 문학사에 뚜렷한 족적을 남긴 인물 가운데 한 사람으로 평가받는다.
그러나 황현(黃玹)은 『매천야록(梅泉野錄)』에서 “개화 이래 외인(外人)을 따라붙어 한 발짝이라도 뒤떨어질까 걱정했으므로, 사람들이 침 뱉고 욕했다.”라고 한 대목에서 알 수 있듯이 만년에 일제에 동조한 행위가 흠으로 지적된다.
문집으로 『하정유고(荷亭遺稿)』 4권이 있다. 이밖에도 「춘향전」과 「심청전」을 한문으로 번역하기도 했다.