본관은 인동(仁同). 자는 사호(士浩) 또는 자활(子活). 성주(星州) 출신. 장순효(張純孝)의 증손으로, 할아버지는 장경원(張敬源)이고, 아버지는 군수 장중지(張重智)이며, 어머니는 고승안(高承顔)의 딸이다.
1485년(성종 16) 별시 문과에 급제한 뒤 정언 · 회령 판관을 역임하고, 1496년(연산군 2) 홍문관에 들어와 부응교 · 응교를 지냈다.
1499년 사인(舍人)으로 춘추관 편수관을 겸해 『성종실록』의 편찬에 참여하였다. 이듬해 홍문관의 직제학 · 부제학, 승정원의 동부승지 · 좌부승지 · 우승지를 거쳐 도승지에 오르고 곧 외직으로 전라도 관찰사에 나갔다.
1504년 갑자사화에 연루되어 먼 지방에 부처(付處)되었다가 중종반정으로 풀려나 경상도관찰사에 보임되었으며, 이듬해 한성부 좌윤이 되었다. 이어 대사헌 때 정국공신(靖國功臣) 박영문(朴永文)의 불법을 탄핵하는 등 언론활동을 전개하였다.
이듬해 이조참판 · 형조판서 · 우참찬을 거쳐 1509년(중종 4) 호조판서로서 경연 특진관을 겸해 폐지된 저화(楮貨) 재사용을 주장했고, 좌참찬으로 군량확보책을 건의하기도 하였다.
1515년부터 호조판서 · 병조판서를 역임하면서 노모의 연로함을 들어 계속 사직을 요청하였다. 하지만 이에 대해 사신(史臣)은 그의 탐오(貪汚)와 회뢰(賄賂)로 공론이 비등하자, 거짓으로 사직을 요청했다고 비난하였다.
1518년 병조판서 역임 시 조광조(趙光祖)를 중심으로 하는 사림파의 현량과(賢良科) 실시에 반대했다가 이듬해 김안로(金安老)의 일파로서 사림을 축출하려 했다는 삼사의 탄핵으로 파면되었다.
기묘사화로 조광조 일파가 축출되자, 복직되어 판중추부사(判中樞府事)를 역임한 뒤 다시 이조판서 · 판의금부사를 거쳐 판중추부사가 되었다. 이 때 나이 70으로 궤장(几杖)을 받기도 하였다. 이어 권신, 김안로가 정권을 장악하자, 그에 의해 우의정에 오르고, 좌의정을 거쳐 1533년 영의정에 올랐다가 이듬 해 죽었다.
사람됨이 용렬하였으며 김안로와 한편이 되어 재상이 되었으므로 당시 사람들이 모두 비루하게 여겼다고 한다. 시호는 문숙(文肅)이다.