본관은 횡성(橫城). 자는 정숙(靜叔). 할아버지는 고습(高襲)이고, 아버지는 고사신(高思信)이다.
사마시에 합격하여 생원이 되고, 1483년(성종 14) 별시문과에 병과로 급제한 이후 연산군 때 해주목사 · 함경북도병마절도사를 지냈다.
중종 때 강원도관찰사와 형조 · 호조 · 병조의 판서 등 요직을 차례로 역임하고 우찬성에 이르렀다. 1507년(중종 2) 함경도관찰사로 있을 때 부국강병을 위한 제도개혁을 상소한 바 있으나 정치성향은 대체로 보수적이었다.
조광조(趙光祖) 일파의 정치개혁을 반대하는 세력의 한 사람으로 현량과(賢良科)의 실시 등을 극력 반대하였으며, 1519년 남곤(南袞) 일파와 함께 기묘사화를 일으켜 신진세력을 축출하였다.
곧고 근검한 성품으로 수리(數理)에 밝아 행정능력이 뛰어났다. 뒤에 기로소에 들어갔으며, 시호는 익평(翼平)이다.