본관은 해평(海平). 자는 상경(商卿). 수원부사 윤처성(尹處誠)의 증손으로, 할아버지는 승문원참교(承文院參校) 윤면(尹沔)이다. 아버지는 첨정 윤훤(尹萱)이며, 어머니는 현감 김모(金模)의 딸이다.
1494년(성종 25) 별시 문과에 병과로 급제해 사관(史官)에 선발되고, 이듬해 승문원검교(承文院檢校)로 춘추관기사관을 겸직, 『성종실록』의 편찬에 참여하였다. 1497년(연산군 3) 예관(禮官)으로 문소전(文昭殿)의 추석 제향을 지낼 때 제4실의 신위판(神位版)을 떨어뜨려 파손한 죄로 장(杖)을 맞고 유배되었다.
그러다가 이듬해 풀려나와 정언에 서용되었고, 이후 지평·집의를 거쳐, 1506년(중종 1) 춘추관편수관으로 『연산군일기』의 편찬에 참여하였다. 1509년 대마도 경차관(敬差官)으로 임명되어, 당시 계해조약을 어기고 삼포(三浦)에서 작폐를 일삼던 일본 거류민들로 하여금 조약을 준수하도록 대마도주에게 국서(國書)를 전달하였다.
1513년 경상도 암행어사로 나가, 삼포왜란 이후 경상도의 방수(防戍) 문제를 점검하였다. 이어 직제학·부제학·대사간을 거쳐 황해도관찰사로 나갔다. 1519년에 이조참판으로서 반정공신의 녹훈 개정을 주청했고, 1521년에는 대사헌으로서 사은사가 되어 명나라에 다녀왔다.
이듬해 공조판서로서 강원도 양전순찰사(量田巡察使)로 파견되었고, 이어 예조판서·대사헌·이조판서·평안도관찰사를 거쳐 1529년 지중추부사로 주청사(奏請使)가 되어 명나라에 다녀왔다. 이어 대사헌·병조판서·한성부판윤 등을 거쳐 1533년 좌찬성에 오르고, 그 뒤 우의정·좌의정·영의정을 역임하고 기로소(耆老所)에 들어갔다.
1543년 영의정에 재직시 왕명에 의해 『대전후속록(大典後續錄)』 편찬에 참여하였다. 성종·연산군·중종 등 3대에 걸쳐 요직을 두루 역임하면서 계속된 사화에도 불구하고 한번도 연루된 적이 없었으므로 사림의 비난을 받기도 하였다.
당시의 사평(史評)에 의하면 “학술은 뛰어나지 않았으나 이사(吏事)에는 연달(練達: 익숙하게 단련되어 막힘 없이 환히 통함)하고 상세하다.”고 하였다. 시호는 정성(靖成)이다.