본관은 전의(全義). 자는 자신(子新), 호는 지지제(知止齋). 이준길(李遵吉)의 증손으로, 할아버지는 이영선(李榮先)이다. 아버지는 한성부서윤 이상린(李商麟)이며, 어머니는 최후발(崔厚發)의 딸이다.
1728년(영조 4) 제릉참봉(齊陵參奉)에 천거되고 용궁현감(龍宮縣監)을 지내다가, 1736년(영조 12) 정시문과에 병과로 급제하였다. 그 뒤 사헌부지평·사간원헌납 등을 거쳐 1744년 필선에 제수되고 이어 우부승지가 되었다. 1746년 유봉휘(柳鳳輝) 여당을 제거해야 한다고 극론하여 승지에서 파직되었다.
다음해 밀양부사로 나갔고 수령으로 나이가 많다 하여 판결사로 치사하였다. 일찍이 아악청랑(雅樂廳郎)이 되어 왕으로부터 새 종(鐘)의 제작명령을 받았을 때, 막바로 신구율척(新舊律尺)을 상고(詳考)하여 그 장단을 가려 완성하였으므로 왕이 세종조의 박연(朴堧)과 비교하여 칭찬을 아끼지 않았다.
어려서부터 재능이 뛰어나고 학문에 파고들어 특히 이수(理數)에 통달하였고, 뒷날 경서(經書)와 음양율력(陰陽律曆)에 밝아 그 이름이 높았다. 이연덕이 사는 집에 지지제(知止齋)라는 편액을 써 붙여 항상 추한 곳에 채소를 먹고 살며 청백하게 살았다.