본관은 남양(南陽). 자는 대이(大而), 호는 기천(沂川). 황해도관찰사 홍춘경(洪春卿)의 증손으로, 할아버지는 이조판서 홍성민(洪聖民)이고, 아버지는 병조참의 홍서익(洪瑞翼)이며, 어머니는 심종민(沈宗敏)의 딸이다.
1630년(인조 8) 생원이 되고, 1644년 별시문과에 을과로 급제하여, 검열을 거쳐 1646년 문과중시에 병과로 급제한 뒤 규장각대교, 정언·교리·부수찬·헌납 등을 지냈다. 그 뒤 1649년 이조좌랑으로 암행어사가 되어 부정한 관리를 적발함에 있어 당대에이름을 떨쳤다.
1650년(효종 1) 이조정랑을 거쳐 1652년 동부승지에 승진하였고, 이듬해 한성부우윤이 되었다. 이어 대사간으로 사은부사(謝恩副使)가 되어 청나라에 다녀오고, 뒤에 이조와 예조의 참판, 부제학·대사헌·형조판서를 지냈으며 약방제조(藥房提調)가 되었다.
1659년 효종이 죽자 삭직되었으나 다시 등용되어, 예조와 병조의 판서를 거쳐 1663년(현종 4) 우의정이 되고, 이듬해 사은 겸 진주사(謝恩兼陳奏使)로 다시 청나라에 다녀와서 1665년 좌의정을 거쳐 영의정이 되었다.
이듬해 청나라가 사신을 보내 왕을 책망하자 그가 나서서 엄정한 태도로 논리를 펴 반격하여 돌려보냈다. 이 일로 왕은 그를 더욱 신임하였다.
그는 또 성리학(性理學)에 조예가 깊었으며, 특히 효종의 신임이 두터워 효종을 도와 북벌계획을 적극 추진하였고, 박세채(朴世采)·윤증(尹拯) 등 명신들을 조정에 천거하였다. 글씨에도 뛰어났다. 순조 때 여주의 기천서원(沂川書院)에 배향되었으며, 저서로는 『기천집』이 있다. 시호는 문간(文簡)이다.