본관은 남양(南陽). 자는 자미(子美), 호는 묵재(默齋). 동지중추원사 홍익생(洪益生)의 증손으로, 할아버지는 수군절도사 홍귀해(洪貴海)이고, 아버지는 승지 홍형(洪泂)이며, 어머니는 사예(司藝) 조충손(趙衷孫)의 딸이다.
1504년(연산군 10) 문과에 급제했으나, 갑자사화에 연루되어 진도로 귀양갔다가 중종반정 이후 사면되었다. 1507년(중종 2) 증광문과에 을과로 급제해 저작을 맡은 다음 부수찬으로 승진하였다. 1509년 부교리로 승진한 뒤 지평·헌납 등을 역임하였다. 1513년 장령으로 특진하고, 이어서 응교·직제학 등을 지냈다.
1519년 병조에서 참지·참의 등을 지내고, 우부승지에 재임중 기묘사화가 일어났다. 이 때 조광조(趙光祖)와 내외종간이어서 그 일파로 지목되어 옥에 갇혔다가 영의정 정광필(鄭光弼)의 변호로 풀려났다.
1524년 도승지에 오르고, 이듬 해 대사헌을 역임하면서 원악향리(元惡鄕吏)들이 외방의 공물(貢物)을 방납하는 것을 단속하였다. 그 뒤 호조참판에서 시작해 참판을 다섯 차례 역임하였다. 1529년 이조판서에 올라 재임중 인사를 공정히 처리하였다. 이어 형조판서·병조판서·호조판서·대사헌 등을 역임했는데, 특히 대사헌을 여섯 차례나 지내면서 관기를 바로잡는 데 이바지하였다.
1534년 우찬성에 올랐으나 당시의 권신 김안로(金安老)와 사이가 멀어져 남양으로 하향하였다. 1537년 김안로가 몰려나자 다시 호조판서로 임용된 뒤 우의정에 올랐다가 곧 좌의정에 이르렀다. 1545년(인종 1) 영의정이 되어 영중추부사·영경연사 등을 겸하였다.
명종이 즉위해 문정왕후(文定王后)가 수렴첨정하자 윤원형(尹元衡)이 을사사화를 일으키니, 이에 가담해 추성위사홍제보익공신(推誠衛社弘濟保翼功臣) 1등에 책록되고, 익성부원군(益城府院君)에 봉해졌다.
몸가짐이 검소하고 화려한 것을 좋아하지 않아 청빈하기로 유명하였다. 집안 법도가 엄해 아들 홍섬(洪暹)조차 큰 옷을 입지 않고서는 만나보지 못했으며 성현들의 글을 즐겨 읽었다. 인종의 묘정에 배향되었다. 시호는 문희(文僖)이다.