1657년( 효종 8) 진사시에 합격해 성균관에 들어갔으며 그 곳에서 송준길(宋浚吉)의 가르침을 받았다. 1666년( 현종 7) 의금부도사를 거쳐서 홍천현감에 이르렀다. 1675년( 숙종 1) 증광 문과에 을과로 급제하였다.
1681년 지평(持平)이 되고 그 뒤 정언(正言) · 교리 · 이조좌랑 · 집의 · 동부승지 등을 역임하면서 활발한 언론활동을 하였다. 또 경연에 참가해 강설하니 숙종이 경청했다 한다. 충청도 암행어사로 파견되어 백성의 어려움과 관리의 폐단을 보고해 바로잡도록 촉구하기도 하였다. 우승지와 1684년 황해도 관찰사를 거쳐, 이듬 해 평안도관찰사로서 선정을 베풀어 그 곳 백성들이 이원익(李元翼)의 사당에 함께 제사하였다.
그 뒤 1687년 수어사와 도승지를 비롯해 공조참판 · 대사간 등을 거쳐, 1689년 기사환국 때에 도승지로 있으면서 송시열(宋時烈)의 유배에 반대하다가 파직되었다. 1694년 갑술환국으로 서인이 집권하자 도승지로 복관되어 선혜청당상 · 한성부판윤을 거쳐 이듬 해 예조판서가 되었으며, 동지정사(冬至正使)로 청나라에 다녀왔다.
1696년 호조판서를 거쳐, 1697년 이조판서가 되어 특히 지방관의 인사를 엄격히 해, 관의 기강을 바로 세우는 데 힘썼다. 관직은 이 밖에도 대사헌 · 공조판서 등을 두루 거쳤다. 1698년 우의정에 올랐고, 1700년에는 좌의정이 되어 세자부(世子傅)를 겸했으며 인현왕후(仁顯王后)의 국상을 총괄하였다. 아들 이의현(李宜顯)과 연달아 정승이 된 것으로 유명하였다.
예학(禮學)에 밝아 국가의 중요 예론에 깊이 참여하였다. 특히 노론의 중심 인물로서 소론 · 남인과의 정치적 대립에서 중요한 몫을 하였다. 문집으로 『 우사집』이 전한다. 시호는 충정(忠正)이다.