본관은 함양(咸陽). 자는 자후(子厚), 호는 해옹(海翁). 증승지 여숙(呂淑)의 증손으로, 할아버지는 증 영의정 여순원(呂順元)이고, 아버지는 총관 여인길(呂䄄吉)이다. 어머니는 민기형(閔起亨)의 딸이다. 장현광(張顯光)의 문인이다.
1619년(광해군 11) 사마시에 합격하여 건원릉참봉(健元陵參奉)이 되고, 1637년(인조 15) 정시문과에 병과로 급제하여 예조·병조좌랑을 거쳐 1640년에 정언(正言)이 되었다.
1644년 훈련원종사관으로 어영대장 구인후(具仁垕)를 도와, 회은군(懷恩君) 이덕인(李德仁)을 추대하려던 심기원(沈器遠) 일당의 역모를 적발하여 일망타진한 공으로 영국공신(寧國功臣) 2등에 책록되고 당상계(堂上階)에 올랐다.
그 뒤 오위장·호조참의·병조참지를 거쳐, 1646년에는 형방승지가 되어 유탁(柳濯)의 역모사건을 국문하는 데 공을 세웠다. 1649년(효종 즉위년) 전라도관찰사가 되었다. 이어서 인조의 능을 수축하기 위한 산릉도감(山陵都監)의 부제조를 거쳐, 도승지·호조참판·동지중추부사·한성우윤 등을 역임하고 1654년에 황해도관찰사가 되었다.
1660년 산릉수개도감당상, 이듬해 부묘도감제조(祔廟都監提調)·형조판서를 역임하였다. 1662년 한성판윤이 되어 동지사로 청나라에 다녀와 오삼계난(吳三桂亂)을 보고하였으며, 이듬해 다시 형조판서를 역임하였다. 45년간의 관직생활을 하면서 정성껏 왕을 보필하여 총애를 받았다. 시호는 숙헌(肅憲)이다.