본관은 안동(安東). 자는 정경(正卿), 호는 유연당(悠然堂). 할아버지는 권미(權彌)이고, 아버지는 현감 권형무(權逈武)이며, 어머니는 박윤문(朴允文)의 딸이다.
1486년(성종 17) 생원·진사가 되고, 1486년 별시문과에 병과로 급제하여 예문관검열·충익부도사(忠翊府都事)를 지내면서 『성종실록』 편찬에 참여하였다. 그 뒤 연산군 때에 장령·사간·도승지를 역임하며 연산군을 잘 보필하였다 하여 금대(金帶)를 하사받는 등 신임이 두터웠다.
그러나 연산군의 실정이 심해지자 중종반정에 가담하여 정국공신 4등에 녹공되고, 영창군(永昌君)에 봉해졌다. 그 뒤 의정부좌참찬을 거쳐 1508년(중종 3) 형조판서를 지내고 좌찬성에 올랐다.
그러나 신진 사림의 진출과 함께 훈구파(勳舊派)로 지목되어, 연산군 때 아부, 순종하며 벼슬하였다는 대간의 탄핵을 받았다. 그 뒤에도 계속된 탄핵으로 사직하고자 하였으나, 중종의 만류로 예조판서에 그대로 재임하였다. 1518년 사은사로 명나라에 다녀왔으며, 사림파가 주동한 정국공신의 위훈삭제로 공신호가 삭제되었다.
기묘사화로 다시 관직에 진출하여 좌찬성·이조판서·영경연사(領經筵事) 등을 거쳐 1523년(중종 18) 우의정을 역임하고, 영창부원군(永昌府院君)에 봉해졌다. 성품이 엄격하고 재주가 뛰어나다는 평을 받았다. 시호는 충성(忠成)이다.