본관은 사천(泗川). 자는 내지(來之), 호는 수옹(睡翁)·수헌(睡軒). 목세칭(睦世稱)의 증손으로, 할아버지는 이조참판 목첨(睦詹)이고, 아버지는 지중추부사 목서흠(睦敍欽)이며, 어머니는 증병조판서 권탁(權晫)의 딸이다. 허목(許穆)의 문인이다.
1646년(인조 24) 사마시에 합격, 진사가 되고, 1650년(효종 1) 증광 문과에 병과로 급제, 지평·교리·판결사 등을 역임하였다. 그 뒤 1672년 동지부사(冬至副使)로 청나라에 다녀왔다.
1675년(숙종 1) 형조판서가 되고, 이듬해 대사헌을 거쳐 예조·호조의 판서를 역임하였다. 남인인 관계로 1680년 경신대출척 때 삭직되었다. 그 뒤 우참찬이 되고, 1689년 우의정에 이르렀다. 이 해의 기사환국에서 서인(西人)을 제거하는 데 앞장서 좌의정에 올랐다.
1694년 남인이 몰락하는 갑술옥사가 일어나 절도에 위리안치되었고, 1699년에 풀려나 전리(田里)에 돌아왔다. 글씨에 뛰어났는데, 특히 해서(楷書)와 초서를 잘 썼다.