1915년 부산 동래군 기장에서 태어났다. 중국으로 건너가 난징 군관학교를 졸업하고 조선독립동맹에 가담하였고, 1941년 중국 공산당의 본거지였던 옌안에 가서 항일군정학교에 입학하였다.
해방이후, 1945년 입북하여 조선인민군의 창건에 참여하였고, 한국전쟁이 발발하자 인민군 중장의 계급으로 정찰국장, 부참모총장으로 활동하였으며, 1953년 휴전협상에도 참여하였다. 이후 외교관으로, 1955년 소비에트연방 대사에 부임하였다.
후르시초프(Nikita Sergeyevich Khrushchev)의 스탈린 격하운동을 지켜보며, 연안파는 1956년 김일성 축출운동을 기도했고, 소련대사로 있던 이상조는 이에 동조하였다. 하지만, 김일성은 연안파의 기도를 저지하였고, 대대적인 숙청작업에 들어갔다. 이에 이상조는 소련으로 망명하였다.
1989년 소련과 대한민국의 관계가 개선되자 한국을 방문하여 북한 정권 초기의 정세에 관해 증언했고, 김일성의 남침계획을 폭로하고, 김일성 독재를 강하게 규탄하였다. 1996년 사망했다.