본관은 남양(南陽). 자는 퇴지(退之), 호는 인재(忍齋). 홍귀해(洪貴海)의 증손으로, 할아버지는 홍형(洪泂)이고, 아버지는 영의정 홍언필(洪彦弼)이며, 어머니는 영의정 송질(宋軼)의 딸이다. 조광조(趙光祖)의 문인이다.
1528년(중종 23) 사마시에 합격하여 생원이 되고, 1531년 식년문과에 병과로 급제, 정언을 지낸 뒤 1535년 이조좌랑으로서 김안로(金安老)의 전횡을 탄핵하다가 그 일당인 허항(許沆)의 무고로 흥양에 유배, 1537년 김안로가 사사(賜死)된 뒤 3년 만에 석방되었다.
그 뒤 수찬 · 부제학 · 경기도관찰사 · 대사헌을 거쳐, 1552년(명종 7) 청백리(淸白吏)에 녹선(錄選)되었다. 1558년 좌찬성으로 이조판서를 겸하고, 이듬해 대제학을 겸하게 되자 삼대임(三大任)을 겸할 수 없다 하여 좌찬성을 사임하였다.
1560년 이량(李樑)의 횡포를 탄핵하다가 사직하였고, 1563년 판의금부사로 복직되어 예문관 · 홍문관의 대제학을 지냈다.
1567년 예조판서가 되고, 이듬해 명종이 승하하고 선조가 즉위하자 원상(院相: 어린 임금을 보좌하던 연로한 정승)으로 서정(庶政)을 처결하고 이어 우의정에 올랐으나 남곤(南袞)의 죄상을 탄핵하다 또다시 파직되었다.
1571년(선조 4) 좌의정이 되어 궤장(几杖)을 하사받고 영의정에 승진되어 세번이나 중임하였다. 문장에 능하고 경서에 밝았으며 검소하였다.
흥양으로 유배당하였을 때 자신의 심경을 노래한 가사 「원분가(寃憤歌)」가 있으며, 저서로 『인재집』과 『인재잡록』이 있다. 남양의 안곡사(安谷祠)에 제향되었고, 시호는 경헌(景憲)이다.