증조부는 좌군도총제(左軍都摠制) 여칭(呂稱), 할아버지는 좌랑(佐郞) 여계(呂稽), 아버지는 현감(縣監) 여종숙(呂宗肅)이다.
본관은 함양(咸陽). 무과에 급제한 뒤 순천부사(順天府使)를 지냈다. 그때 문종의 부마인 정종(鄭悰)이 순천에 안치되었다가 사사되고, 부인인 경혜공주(敬惠公主)를 관비로 삼았으나 사역을 시키지 않았다.
그 뒤 벼슬이 올라 1479년(성종 10) 병조참판이 되고, 1486년 영안남도절도사(永安南道節度使)가 되어 변방의 방어에 전력, 큰 공을 세워 1490년 내직으로 공조참판·병조참판에 제수되었다.
이어 경기도·강원도의 관찰사를 역임하고, 1492년에는 지중추부사로서 성절사로 뽑혀 명나라에 다녀왔다. 이듬해에 평안도병마절도사를 지내고, 연산군 때 오위도총부도총관, 전라도와 함경도의 관찰사, 이조참판 등을 지냈으나, 갑자사화에 연루되기도 하였다.
중종반정 후 병조와 형조판서를 지내며 많은 치적을 올렸다. 아들 여윤철(呂允哲)과 함께 청백리로 이름이 높았다. 시호는 정장(貞莊)이다.