본관은 남원(南原). 자는 거원(巨源), 호는 설옹(雪翁). 증 좌찬성 양구주(梁九疇)의 증손으로, 할아버지는 대제학 양성지(梁誠之)이며, 아버지는 현령 양호(梁琥)이다. 어머니는 유인로(柳仁老)의 딸이다.
음직으로 진출하여 충의위(忠義衛)에 소속되었다가, 1524년(중종 19) 별시문과에 병과로 급제하여 장령(掌令)·집의(執義)·직제학을 역임하였다.
1535년에는 공조참판으로 성절사(聖節使)가 되어 명나라에 다녀오기도 하였다. 1536년 전라도관찰사가 되었으며, 1537년 대사헌으로 왕의 밀지를 받아 김안로(金安老)·채무택(蔡無擇)·허항(許沆) 등을 탄핵하여 처형시켰다.
그 뒤 좌승지·병조판서·이조판서·우찬성·좌찬성 등의 관직을 역임하고, 판중추부사(判中樞府事)에 이르렀다. 사무에 밝았으며, 특히 병사(兵事)에 능하였다. 재상 윤임(尹任)과 가까운 사이였으며, 훈구파(勳舊派)의 중심인물로 사림파를 배척하는 활동을 많이 하였다.