본관은 전주(全州). 자는 중명(仲命). 이택(李澤)의 증손으로, 할아버지는 이현량(李顯良)이다. 아버지는 대사헌 이휘중(李徽中)이며, 어머니는 서종옥(徐宗玉)의 딸이다.
『조선과환보(朝鮮科宦譜)』 전주이씨 문과급제자 명단에 승지를 역임한 형 이의봉(李義鳳)과 함께 들어 있다. 그러나 『국조방목』에 의하면, 1773년(영조 49) 증광문과 병과 급제자에 이상준(李商駿)으로 되어 있어 이상준은 초명, 이의준은 개명으로 생각된다.
부교리·종성부사·대사간을 역임하였으며, 1798년(정조 22) 황해도관찰사 재직 중 병사하여 당시 정조의 애도를 받았다. 부인도 열녀로 칭송이 높았다. 이밖에 이가환(李家煥)과 함께 한백겸(韓白謙)의 「기전설(箕田說)」, 유근(柳根)의 「기전도설후어(箕田圖說後語)」, 허잠(許箴)의 「기전도설설후(箕田圖說說後)」, 이익(李瀷)의 「기전속설(箕田續說)」 등을 모아 편집한 『기전고(箕田考)』와 성대중(成大中)과 같이 펴낸 『진양충의세편(晉陽忠義世編)』이 있다.
저서로는 1796년에 교정한 『장릉지(莊陵誌)』, 정조의 명을 받아 편수한 『존주휘편(尊周彙編)』이 있다.