1489년(성종 20) 생원시 · 진사시에 합격하고, 1494년 별시 문과에 을과로 급제했다. 1496년(연산군 2) 홍문관수찬에 임명되어 사간원정언을 거친 뒤, 김전(金詮) · 신용개(申用漑) 등과 함께 사가독서했다.
홍문관부수찬 · 수찬을 거쳐, 좌랑으로 전정(殿庭)에서 문신을 시험할 때 1등으로 뽑혔다. 1502년 홍문관응교(弘文館應敎)를 거쳐 전한(典翰) · 부제학을 지냈다.
1504년 갑자사화 때 서변(西邊)으로 유배되었다. 그 뒤 1506년(중종 1) 중종반정으로 풀려나, 박경(朴耕) · 김공저(金公著) 등이 모반한다고 무고해 그 공으로 가선대부(嘉善大夫)가 되었다.
한때 대간(臺諫)의 탄핵을 받아 황해도관찰사로 전임되었으나, 1510년 문한(文翰)의 제일인자로 인정받아 호조참판 · 대사헌 · 전라도관찰사 등을 역임하고, 좌의정 정광필(鄭光弼)의 천거로 지중추부사(知中樞府事)가 되었다.
1515년 우참찬으로 영의정 유순정(柳順汀) 등과 함께 박상(朴祥) · 김정(金淨)의 신씨복위상소(愼氏復位上疏)에 대해 반대 의견을 제시했다.
이듬해 홍문관대제학을 겸임했으며, 뒤에 의정부 좌우찬성 · 대사헌 · 예조판서 · 이조판서 등을 역임했고, 1518년에는 종계변무(宗系辨誣)를 위한 주청사(奏請使)로 명나라에 다녀왔다.
1519년 심정(沈貞) 등과 함께 기묘사화를 일으켜 조광조(趙光祖) · 김정 등 신진 사림파를 숙청한 뒤, 좌의정을 거쳐 1523년 영의정이 되었다.
죽은 뒤 문경(文景)이라는 시호가 내려졌으나 이후 세력이 커진 사림파의 탄핵을 받아 1558년(명종 13) 관작과 함께 삭탈당했다. 선조 초년 다시 관작을 추삭(追削)당했다.
문장에 뛰어나고 글씨에도 능했으나, 사화를 일으킨 것이 문제가 되어 후대 사림의 지탄의 대상이 되었다. 저서로는 『유자광전(柳子光傳)』 · 『지정집(止亭集)』이 있다.