본관은 진성(眞城). 자는 맹윤(孟潤), 호는 조은(釣隱). 예안 출신. 이황(李滉)의 8대손이며, 이영철(李英哲)의 증손이다. 할아버지는 이경(李檠)이고, 아버지는 감역 이수항(李守恒)이며, 어머니는 안노석(安老石)의 딸이다.
1750년(영조 26) 사마시에 합격하여 생원이 된 뒤, 1753년(영조 29) 정시문과에 2등으로 급제하였다. 검열·교리를 거쳐 1762년에 우부승지에 오르고 그 이듬해 대사간이 되었다. 대사간을 제수받았을 때, 신임사화의 죄인인 이광사(李匡師)를 정계(停啓)하지 않았다 하여 유배되었었다.
도승지 홍명한(洪名漢), 병조판서 이지억(李之億) 등이 임금의 뜻에 따라 정계에 응할 것을 권하였으나 끝내 따르지 않았다. 이에 채제공(蔡濟恭)이 서찰을 내어 이세택이 정계에 응하지 않았음을 칭찬하였다 한다.
1768년 인동부사로 있을 적에 살옥(殺獄)을 미연에 방지하지 못하였다고 탄핵을 받고 단양에 유배되었는데, 이 때부터 시파(時派)로서 벽파(僻派)의 탄압을 받았다. 그 뒤 정조가 즉위하자, 대사헌이 되어 벽파 정후겸(鄭厚謙) 등을 규탄하여 죄상을 밝혔다. 이어 『명의록』을 편찬할 때에 찬집당상이 되었다. 시문집으로 『조은유고(釣隱遺稿)』가 전한다.