1680년(숙종 6) 별시 문과에 을과로 급제해 홍문관정자로부터 벼슬살이를 시작하였다. 그 뒤 홍문관의 박사 · 수찬 · 교리 · 응교, 사헌부지평, 사간원헌납, 이조좌랑, 의정부사인 등을 역임하면서 송시열(宋時烈) · 김석주(金錫胄) 등의 지원 아래 이선(李選) · 이수언(李秀言) 등과 함께 노론의 기수로 활약하였다.
1686년 사헌부의 집의로 있으면서 문과 중시에 병과로 급제, 이듬해 1월 강원도관찰사에 특제(特除)되었다. 그리하여 강원도관찰사로 나간 지 8개월 만에 승정원의 승지가 되는 남다른 승진을 거듭하였다.
그러나 1689년 기사환국으로 영해로 유배되었다가 남해로 이배되는 곤욕을 치르기도 하였다. 유배생활 5년 만에 갑술옥사가 일어나 호조참의로 조정에 돌아온 뒤, 승지를 거쳐 1696년(숙종 22) 평안도관찰사로 뽑혔지만, 늙은 어머니의 병을 이유로 극구 사절하고 강화부유수로 나갔다.
그러다가 2년 만에 대사간이 되어 돌아왔다가, 형 이사명(李師命)의 죄를 변호하다가 다시 공주로 유배되고 말았다. 이듬 해 2월 유배는 풀렸으나, 2년 동안 기용되지 못하다가, 1701년 예조판서로 특임되었다.
이어 대사헌 · 한성부판윤 · 이조판서 · 병조판서 등을 거쳐 1706년 우의정에 올랐다. 그리고 1708년 숙종의 신임을 한몸에 받으면서 좌의정에 올라, 세제(世弟: 뒤의 영조)의 대리청정을 추진하다 실패해 다시 남해로 유배되기까지, 15년 동안을 노론 정권의 핵심적 존재로 활약하였다.
이 동안 숙종의 죽음으로 고부사(告訃使)가 되어 연경(燕京)에 갔을 때, 독일신부 쾨글러(Kogler, I. )와 포르투갈신부 사우레즈(Saurez, J. ) 등과 교유하면서 천주교와 천문, 역산에 관한 서적을 얻어와 이를 소개했다고 전한다.
1721년(경종 1) 세제의 대리청정이 실패하자, 주모자 김창집(金昌集) 등과 함께 관작을 삭탈당하고 남해에 유배되어 있던 중, 목호룡(睦虎龍)의 고변으로 이듬해 4월 서울로 압송, 사사(賜死)되었다.
공주에 우선 안장되었다가, 1725년(영조 1) 복작되면서 임천 옥곡(玉谷)에 이장되었다. 그리고 영조의 지시로 한강가에 사우(祀宇)가 건립되었다. 저서로는 시 · 문을 엮은 『소재집(疎齋集)』 20권 10책, 『양역변통사의(良役變通私議)』와 『강역관계도설(疆域關係圖說)』 · 『강도삼충전(江都三忠傳)』 등이 있다. 시호는 충문(忠文)이다.