선조의 덕으로 공조좌랑으로 재직했다. 1662년(현종 3) 증광문과에 을과로 급제하고, 그 뒤 정언 · 부교리 · 용안현감 · 헌납 등을 역임하였다. 북평사로 있을 때 감사 민정중(閔鼎重)과 함께 임진왜란 때의 의병장 정문부(鄭文孚)의 사적(史蹟)을 조사해 조정에 알려 관직을 추증시켰다. 또한 사당을 세워 충렬사(忠烈祠)라는 사액을 내리게 했다.
부교리로 있을 때는 귀양 중인 대신들을 속히 사면할 것을 주청하기도 했다. 1669년 이조정랑이 되어 각 사(司) 노비의 공안(貢案)을 정리할 것을 청하여 신공(身貢)을 반 필씩 줄이게 했다. 이어 교리로 경서교정청(經書校正廳)의 교정관이 되었다. 훈련별대(訓鍊別隊)의 창설을 주청하여 시행하게 하였다.
그 뒤 응교 · 사간 · 사인 등을 역임하고, 1671년 동부승지가 되었다. 이듬해 이조참의가 되어, 중종의 폐비 신씨(愼氏)의 신주를 신씨 본손의 집으로 옮기게 했다. 1674년 대사성으로 대제학을 겸임하였다. 이어 숙종이 즉위한 뒤, 서인으로서 제2차 복상문제로 숙청당한 의례제신(議禮諸臣) 처벌의 부당성을 상소하다가 파직되어 이듬해 삭직당했다.
1680년(숙종 6) 경신대출척으로 풀려났다. 이듬해 홍문관제학이 되어 『현종개수실록』 편찬에 참여했다. 1682년 대사헌으로 각 능 기신(忌辰) 제사에 올리는 유과(油果) 및 과일 위를 덮는 채색꽃을 줄여 제사비용을 줄이도록 했다.
1684년 예조판서가 되어 「사창절목(社倉節目)」과 『선묘보감(宣廟寶鑑)』을 지어 올렸다. 1686년 우의정이 되어 사창 설치의 다섯 가지 이익을 건의했다. 그리고 죽을 죄인에게 삼복(三覆)을 실시할 것을 청했다. 이듬해 좌의정에 올랐으나 병으로 사직하고, 행판돈녕부사로 있다가 죽었다.
이단하는 무력해진 의정부의 기능을 회복하기 위해 비변사를 의정부의 직방(直房)으로 만들고, 그 곁에 한 방(房)을 비변사로 만들어 의정부와 통하게 했다. 또한 좌우찬성의 자리를 비워 두지 말고 참찬과 함께 삼공을 도와 정치를 의논하게 할 것을 주장하였다. 또한 사창제도를 철저히 실시해 굶주리는 백성을 돌볼 것을 역설하였다.
송시열의 문하에서 자라나 조선 후기 경학을 대표할 만한 학자이다. 용안(龍安)에 영당이 있다. 저서로는 문집인 『외재집』과 편서로 『북관지(北關誌)』가 있다. 시호는 문충(文忠)이다.