본관은 연안(延安). 자는 유능(幼能), 호는 정관재(靜觀齋)·서호(西湖). 할아버지는 좌의정 이정구(李廷龜)이다. 아버지는 대제학 이명한(李明漢)이며, 어머니는 금계군(錦溪君) 박동량(朴東亮)의 딸이다.
1648년(인조 26) 진사시에 장원했다. 다음해 정시문과에 병과로 급제하여 설서·대교·봉교·부수찬·교리 등을 역임하면서, 서연(書筵)에 나아갔다.
여러 차례 이조·병조의 정랑을 지내고 의정부사인으로 지제교(知製敎)를 겸하였다. 1655년(효종 6) 사가독서(賜暇讀書: 유능한 젊은 관료들에게 휴가를 주어 독서에만 전념케 하던 제도)를 한 뒤 대간에 들어가, 구애됨이 없이 정론(正論)을 밝혔다.
전라도 지방을 두루 살펴 기근이 심한 고을을 구제하게 했다. 효종이 죽고 정국이 변하자 두문불출하고 학문에만 전념하다가 잠시 청풍부사를 지냈다. 이어 응교를 거쳐 인천부사가 되었다. 1664년(현종 5) 집의가 되어 입지권학(立志勸學)에 관한 다섯 조목을 상소하고 스스로 관직을 떠났다.
홍명하(洪命夏)·송준길(宋浚吉)·조복양(趙復陽) 등이 이단상의 학문과 덕행을 인정해 경연관(經筵官)에 추천했다. 그러나 이를 사양하고 양주 동강(東岡)으로 은퇴했다. 그 뒤 승지와 병조참지에 임명되었으나 모두 사양했다. 1669년 부제학으로 서연관을 겸했으나 곧 사양하고 물러났다.
1680년(숙종 6) 민정중(閔鼎重)의 건의로 이조참판 겸 경연, 양관제학(兩館提學: 홍문관·예문관의 제학)에 추증되고, 다시 이조판서로 증추되었다. 이단상의 문하에서 아들인 이희조(李喜朝)와 김창협(金昌協)·김창흡(金昌翕)·임영(林泳) 등의 학자가 배출되었다.
양주의 석실서원(石室書院), 인천의 학산서원(鶴山書院)에 제향되었다. 저서로는 『대학집람(大學集覽)』·『사례비요(四禮備要)』·『성현통기(聖賢通紀)』·『정관재집』 등이 있다. 시호는 문정(文貞)이다.