본관은 군위(軍威). 자는 태화(太和), 호는 무기당(無期堂)·주탄(舟灘). 중랑장(中郞將) 방을상(方乙祥)의 증손으로, 할아버지는 증 형조참의 방사우(方思友)이고, 아버지는 증 병조참판 방중지(方仲止)이며, 어머니는 남평문씨(南平文氏)로 봉례랑(奉禮郎) 문승도(文承道)의 딸이다. 김종직(金宗直)의 문인이다.
1486년(성종 17) 사마시에 오르고, 1489년 식년 문과에 병과로 급제하였다. 사헌부 지평(持平)으로 있다가 1504년(연산군 10) 갑자사화로 파직되었으나 다음 해 4월 사헌부 집의(執義)로 등용되었다. 1506년(중종 1) 제주목사를 거쳐 함경남도 절도사로 임명되었다.
1512년 8월 좌부승지에 오르고 1515년 대사헌이 되었다. 1517년 동지성균관사(同知成均館事)가 되었으나 속히 부임하지 않고 고향에 오랫동안 머물렀다는 이유로 사헌부의 탄핵을 받았다. 다음 해 7월 성절사(聖節使)에 임명되어 질정관(質正官) 최세진(崔世珍), 서장관(書狀官) 한충로(韓忠盧) 등과 함께 명나라에 다녀왔다.
1520년 병조판서에 특차되었으나 신진사류의 탄핵으로 병조참판으로 강등되었고, 1522년 군기(軍機)를 중요하게 여기지 않는다는 이유로 탄핵을 받기도 하였다. 1523년 경상도관찰사가 되었고 다음 해에는 동지성균관사(同知成均館事)로 임명되었다. 벼슬은 병조판서에 이르렀다. 사헌부에 있을 때 조광조(趙光祖)를 제거하려는 일파에 가담도 하였다.