본관은 의령(宜寧). 자는 운로(雲路), 호는 약천(藥泉) 또는 미재(美齋). 개국공신 남재(南在)의 후손으로, 할아버지는 남식(南烒)이고, 아버지는 현령 남일성(南一星), 어머니는 권엽(權曗)의 딸이다.
송준길(宋浚吉)의 문하에서 수학, 1651년(효종 2) 진사시에 합격하고, 1656년(효종 7) 별시 문과에 을과로 급제해 가주서·전적·사서·문학을 거쳐 이듬해 정언이 되었다. 1659년(효종 10) 홍문록에 오르고 곧 교리에 임명되었다.
1660년(현종 1) 이조정랑에 제수됐고, 이어 집의·응교·사인·승지·대사간·이조참의·대사성을 거쳐, 1668년(현종 9) 안변부사·전라도관찰사를 역임했다. 1662년 영남에 어사로 나가 진휼 사업을 벌였다. 1674년(현종 15) 함경도관찰사로서 유학(儒學)을 진흥시키고 변경 수비를 튼튼히 했다.
숙종 초 대사성·형조판서를 거쳐 1679년(숙종 5) 좌윤이 되었으며, 같은 해 윤휴(尹鑴)·허견(許堅) 등의 방자함을 탄핵하다가 남해(南海)로 유배되었다.
이듬해 경신대출척(庚申大黜陟)으로 남인이 실각하자 도승지·부제학·대사간 등을 역임했으며, 1680년(숙종 6)과 1683년(숙종 9) 두 차례 대제학에 올랐다. 병조판서가 되어 폐한 사군(四郡)의 재설치를 주장해 무창(茂昌)·자성(慈城) 2군을 설치했으며, 군정(軍政)의 어지러움을 많이 개선했다.
1684년(숙종 10) 우의정, 이듬해 좌의정, 1687년(숙종 13) 영의정에 올랐다. 이즈음 송시열(宋時烈)의 훈척비호를 공격하는 소장파를 주도해 소론(少論)의 영수로 지목되었다. 1689년(숙종 15) 기사환국으로 남인이 득세하자 강릉에 유배되었으나 이듬해 풀려났다. 1694년(숙종 20) 갑술옥사(甲戌獄事)로 다시 영의정에 기용되고, 1696년(숙종 22) 영중추부사가 되었다.
1701년(숙종 27) 희빈 장씨(禧嬪張氏)의 처벌에 대해 중형을 주장하는 김춘택(金春澤)·한중혁(韓重爀) 등 노론의 주장에 맞서 경형(輕刑)을 주장하다가 숙종이 희빈 장씨의 사사를 결정하자 사직, 낙향했다. 그 뒤 부처(付處)·파직 등 파란을 겪다가 다시 서용되었으나, 1707년(숙종 33) 관직에서 물러나 봉조하(奉朝賀)가 되었다가 기로소에 들어갔다.
당시 정치 운영의 중심 인물로서 정치·경제·형정·군정·인재 등용·의례(儀禮) 등 국정 전반에 걸쳐 경륜을 폈을 뿐만 아니라 문장에 뛰어나 책문(冊文)·반교문(頒敎文)·묘지명 등을 많이 썼다. 또한, 국내외 기행문과 우리 역사에 대한 고증도 많이 남기고 있다. 서화에도 뛰어났으며, 시조 「동창이 밝았느냐」가 『청구영언(靑丘永言)』에 전한다.
숙종 묘정(廟庭)에 배향, 강릉의 신석서원(申石書院), 종성(鐘城)의 종산서원(鐘山書院), 무산(茂山)의 향사(鄕祠) 등에 제향되었다. 저서로 『약천집(藥泉集)』·『주역참동계주(周易參同契註)』가 전한다. 글씨는 「좌상남지비(左相南智碑)」·「찬성장현광비(贊成張顯光碑)」, 개심사(開心寺)·양화루(兩花樓)·영송루(迎送樓)의 액자를 남겼다. 시호는 문충(文忠)이다.