본관은 전주(全州). 초명은 이상준(李商濬). 자는 재심(在心) 또는 사형(士衡), 호는 주암(疇巖). 아버지는 이조판서 이최중(李最中)이다.
15세에 신소심(申素心)에게 수학하여 선생으로부터 사랑을 받고 삼가고 신중함을 배웠다.
1773년(영조 49) 생원시에 합격하였다. 1782년(정조 6) 아버지가 역모에 무고되어 전라도 추자도로 극배되자 천복으로 수행, 청파를 거쳐 강상에 이르렀을 때 금오랑(金吾郎)에게 발각되어 배소의 선상 수행을 금지당하였고, 이의병의 아버지는 언의(言議)가 강직하므로 적소에 보낸 뒤 반대파가 죽이려 하였다. 압송자도 이의병의 기를 꺾어 수모를 주었다.
유배 중인 아버지의 안부를 살피기 위하여 행상차림으로 해변까지 가서 통곡하였으며, 돌아와 향리에 은거, 매일밤 산에 올라 남쪽을 향하여 재배하며 울면서 안온을 빌었다. 1784년 가을에 불길한 꿈을 꾸고 즉시 길을 떠났다.
전라도 영암에 이르렀을 때, 아버지의 부음을 듣고 읍졸에게 간청하여 추자도로 건너가 혼절하고 아버지를 향리로 반장(返葬)하였다. 1796년 아버지의 억울함이 신원(伸寃: 원통한 것을 풀어버림)되고, 1801년(순조 1) 복관되었다. 그 뒤 두 번이나 관직의 부름을 받고도 나가지 않고 향리에서 은둔하였다.