본관은 상주(尙州). 자는 숙예(叔藝). 김기(金淇)의 증손으로, 할아버지는 김수억(金守億)이고, 아버지는 김계(金誡)이며, 어머니는 김승순(金承順)의 딸이다. 김수말(金守末)에게 입양되었다.
1519년(중종 14) 별시 문과에 병과로 급제, 예문관검열을 거쳐, 승정원주서를 역임하고 1532년 이조정랑에 이르렀다. 헌납으로 옮겼다가 장령으로 승진하고, 1539년 홍문관전한이 되어 경연의 시강관을 겸임하였다.
삼사의 청환직(淸宦職)을 두루 거쳐, 1543년 국왕의 특명으로 좌승지에서 강원도관찰사에 임명되었다. 이어 대사간이 되고, 명종이 즉위하자 소윤(小尹)의 한 사람으로서 을사사화를 일으켜 추성위사홍제보익공신(推誠衛社弘濟保翼功臣) 2등으로 상락군(上洛君)에 책봉되고, 대사헌으로 승진하였다.
그 뒤 호조참판·이조참판·호조판서를 거쳐 1546년(명종 원년) 이조판서가 되었다. 그 뒤 우참찬·우찬성을 역임하고, 1553년 판돈녕부사(判敦寧府事)에 이르렀다.