본관은 안동(安東). 자는 계문(季文)·유도(有道), 호는 구계(癯溪). 아버지는 증영의정 권격(權格)이며, 어머니는 함평이씨(咸平李氏)로 돈녕부도정(敦寧府都正) 이초로(李楚老)의 딸이다.
처음에는 맏형 권상하(權尙夏)에게서 글을 배우다가 뒤에 송시열(宋時烈)의 문하에서 수학하였다. 1694년(숙종 20) 알성문과에 병과로 급제해 승문원에 등용되었으며, 봉교(奉敎)와 춘방설서(春坊說書)를 거쳐 사간원정언으로 승진되었다. 이어 옥당(玉堂)에 참여하여 수찬·교리가 되었다가, 병조좌랑·사간원헌납·지제교(知製敎) 등을 거쳐 부응교겸필선에 승진하였다.
윤휴(尹鑴)가 주자학을 호만(浩漫)하다고 비판하고, 박세당(朴世堂)이 『사변록(思辨錄)』을 지어 주자학을 배척하여 왕명에 의해 그 책이 불태워질 때, 두 사람을 공박하는 내용의 변설문(辨說文)을 작성해 김창협(金昌協)으로부터 그 학식을 높이 칭찬 받았다. 경연(經筵)에서는 호족의 폐해와 군제(軍制)의 개혁을 주장하고, 또한 궁장(宮庄)의 절수(折受)가 성덕의 허물이 됨을 주장하였다.
1703년 수원부사가 되어 관리의 비행을 숙정(肅正)하는 등 치적을 남겼고, 1704년 대사간이 되고, 동부승지·이조참의·예조참의·공조참의 등을 거쳐 전라관찰사가 되었다. 1709년 개성유수를 거쳐 평안감사에 임명되었으나, 공의(公議)에 따라 대사성으로 옮긴 뒤 도승지가 되었다.
대사헌 정호(鄭澔)가 윤증(尹拯)을 논핵한 일로 숙종의 노여움을 사서 귀양갈 때 연루되어 면직되었다가 곧 서용(敍用)되어 이조·예조·병조·형조·공조의 5조참판을 역임한 뒤, 한성좌윤과 부제학을 거쳐 대사헌이 되었다. 그 뒤 국경의 확정 문제로 관서접반사(關西接伴使)가 되었고, 해적의 진무를 위해 호남순무사가 되기도 하였다.
1715년 형조판서, 1716년 호조판서가 되었다가 예조판서·한성판윤·우참찬 등을 지냈다. 그 뒤 이조판서가 되어 숨은 인재를 많이 등용했으나, 1721년(경종 1) 신임사화 때 탄핵을 받아 삭직되어 문외출송(門外黜送: 죄인을 한성부의 사대문 밖으로 추방하는 형벌)을 당했다가 이듬 해 풀려났다. 그 뒤 향리로 돌아가 여생을 마쳤다. 성리설에 밝았으며, 특히 『논어』와 『주역』에 관통하였다.
시호는 정헌(正獻)이다.