본관은 안동(安東). 자는 시회(時會), 호는 석담(石潭). 지중추부사 권상(權常)의 증손으로, 할아버지는 예조판서 권협(權悏), 아버지는 사어(司禦) 권근중(權謹中), 어머니는 이유혼(李幼渾)의 딸이다.
1642년(인조 20)에 진사가 되고, 1649년에 별시문과에 을과로 급제해 정언이 되었다. 이후 지평(持平)·헌납(獻納)·이조정랑·응교·사간 등의 청요직을 거쳐 승지가 되었다.
그 뒤 형조·병조·예조의 참의와 좌승지·한성부우윤·형조참판·개성유수 등을 거쳐 1666년(현종 7)에 평안도관찰사가 되었다.
이어 대사간·함경도관찰사를 거쳐 1670년 호조판서로 발탁되었으며, 그 뒤 형조판서를 거쳐 우참찬이 되고 판의금부사를 겸임했다. 1674년 숙종이 즉위하자 예조판서가 되고, 이듬해 병조판서를 거쳐 우의정으로 승진했다.
1680년(숙종 6) 경신대출척(庚申大黜陟)으로 남인이 실각하고 서인이 득세하자, 판중추부사(判中樞府事)로 밀려났다가 파직당하고 영일에 위리안치(圍籬安置)되었다.
그 뒤 1689년에 기사환국으로 남인이 재집권하자 다시 등용되어 영의정에 올랐다. 이때 유배 중인 서인의 영수 송시열(宋時烈)을 사사하도록 했다.
그 뒤 치사하고 궤장(几杖)을 받고 기로소(耆老所)에 들어갔다. 그러나 1694년에 서인이 숙종의 폐비인 민씨(閔氏)의 복위 운동을 일으켜 남인을 제거하고자 했다.
그 당시 폐비 사건을 후회하고 있던 숙종으로부터 남인이 미움을 받아 화를 당하게 되는 갑술환국(甲戌換局)으로 관직을 삭탈당하고 절도(絶島)에 안치되었다.
이듬해 80세가 넘는 고령이라 하여 풀려나 귀향하게 되었다. 과격파 남인으로 당쟁에 휘말렸으나 생활이 검소하고 청렴해 명망이 높았다. 죽은 뒤 왕의 특명으로 직첩이 환급되었다.