본관은 진주(晉州). 자는 지옹(智翁), 호는 청천(菁川). 유이(柳怡)의 증손으로, 할아버지는 유자해(柳子偕)이다. 아버지는 목사 유양(柳壤)이며, 어머니는 정집(鄭楫)의 딸이다.
김종직(金宗直)의 문하에서 학업을 닦고 활을 잘 쏘아서 무인 중에서도 비교할 자가 드물었다. 1487년(성종 18) 진사로 별시 문과에 장원으로 급제해 홍문관전적에 임명되었다. 그 뒤 훈련원정으로서 전라도 지방에 침투한 왜적을 수색, 포획하는 데 힘썼고, 1491년 함경도평사로서 도원수 허종(許琮)의 막료가 된 뒤 평안도평사를 역임하였다.
연산군이 즉위하자 사헌부헌납으로서 임사홍(任士洪)의 잔악함을 논박하고, 평안도절도사 전림(田霖)의 권력 남용을 추궁하는 한편, 야인 문제에 대한 대책을 올리기도 하였다. 그 뒤 홍문관교리가 되었는데, 문신으로서의 활솜씨로 특별히 부응교에 임명되었다.
이어 집의(執義)를 거쳐 의주목사로 나가 압록강 연안의 야인 정벌 때 도원수의 종사관으로 적정 탐지에 공을 크게 세웠다. 아울러 군자 확보와 성곽 수축 등 군비 강화에 힘썼다. 1503년에는 공조참판으로서 하정사(賀正使)가 되어 명나라에 다녀왔으며, 이듬해 평안도관찰사가 되었다.
이 때 연산군의 밤사냥이 불편함을 진언했다가 임사홍의 모략으로 추국당하였다. 1506년 이조판서로서 박원종(朴元宗)·성희안(成希顔) 등과 함께 중종반정을 모의, 거사해 그 공으로 정국공신(靖國功臣) 1등에 책록되고, 청천부원군(菁川府院君)에 봉해졌으며, 숭정대부(崇政大夫)에 올랐다. 이어 병조판서로서 영경연사(領經筵事)를 겸임해 폐지한 경연 부활에 앞장섰다.
얼마 뒤 우의정으로 승진하고 병조판서를 겸임하였다. 1507년 이과(李顆) 등이 견성군(甄城君)을 추대해 역모를 꾸미자, 이를 처리한 공로로 정난공신(定難功臣) 1등에 다시 책록되었다. 이듬해 평안도 인산(麟山)·강계에 둔전(屯田)을 설치해 군자를 강화하였다.
이어 좌의정이 되어 박영문(朴永文)·유담년(柳聃年)을 포도대장으로 삼아, 당시 경기도 인천·김포·통진 일대에 횡행한 강도를 처리하고 유민의 안집책(安集策)을 마련하기도 하였다.
1510년 경오왜변이 일어나자 도체찰사가 되어 병사를 총괄했으며, 다시 도원수로서 현지에 출동해 삼포(三浦)의 난을 평정하고, 각 포의 비왜방략(備倭方略)을 마련하였다. 이 때 대간들로부터 재물을 축적했다는 탄핵을 받았으나 오히려 군공을 인정받아 영의정에 올랐다. 2개월 후 병사하자 문정(文定)이라는 시호가 내려졌으며 이후 성렬(成烈)로 고쳐졌다. 중종의 묘정에 배향되었다.