본관은 홍주(洪州). 자는 양백(陽伯) 또는 맹양(孟陽), 호는 당옹(戇翁)·송강(松岡). 고려 고종 때 시중(侍中)을 지낸 이연수(李延壽)의 6세손이며, 아버지는 연경궁제학(延慶宮提學) 이기종(李起宗)이다.
홍주를 관향으로 한 것은 아버지 때부터이다. 1357년(공민왕 6) 문과에 급제해 여러 벼슬을 거쳐 군부좌랑(軍簿佐郎)에 올랐으나, 세상이 어지럽고 정치가 문란해지자 관직을 버리고 고향으로 돌아가 은둔하였다. 1376년(우왕 2) 우헌납에 임명되었으나 노부모의 봉양을 이유로 거절하고, 친상(親喪)을 당하자 6년간 여묘(廬墓) 살이를 하였다.
1388년 내부소윤(內府少尹)에 임명되었으나 상이 끝나지 않았다는 이유로 거절하였다. 국가에서는 이서의 효행을 높이 기리기 위해 정문을 세워주었다. 이 해 겨울 이성계(李成桂)가 실권을 장악하자 유일인사(遺逸人士)로서 이서를 선발해 내서사인(內書舍人)에 제수하였다.
1392년(태조 1) 이성계 추대에 참여해, 개국공신 3등에 책록되어 안평군(安平君)에 봉해지고 형조전서(刑曹典書)에 임명되었다.
1394년 사헌부대사헌이 되고, 1396년 신덕왕후(神德王后)가 죽자 3년간 정릉(貞陵)을 수묘(守墓)하였다. 1398년 참찬문하부사에 오르고, 1400년 태종이 즉위하자 문하시랑찬성사에 이어 우정승으로 부원군(府院君)에 봉해졌다. 이 해 고명사(誥命使)로 명나라에 다녀오고, 이어 영의정부사(領議政府事)가 되었다.
1402년(태종 2) 사임하고, 앞서 1398년 왕자의 난 때 상심해 함흥에 가 있던 태조를 중 설오(雪悟)와 함께 안주(安州)에 나가 맞아 귀경하게 했으며, 1404년 다시 우정승이 되었다.
이듬 해 75세의 고령으로 치사(致仕: 나이가 많아 벼슬을 사양하고 물러나는 것 일종의 정년퇴임 같은 것임)했다가 다시 영의정에 올랐고, 기로소에 들어간 뒤 만년을 향리에서 보내다가 죽었다. 시호는 문간(文簡)이다.