1357년(공민왕 6)에 순천에 유배되어 있던 홍상재의 장인 채하중이 승려 달선(達禪)의 반역 사건에 연루되어 죽은 사건이 있었다. 홍상재도 이 사건에 연루되어 장형을 당한 후 유배되었다.
1368년(공민왕 17)는 처음으로 중국 명나라에 사신으로 파견되었다. 금릉(金陵)에서 명(明)이 건국되자 조정은 홍상재와 감문위상호군(監門衛上護軍) 이하생(李夏生)을 함께 파견하여 하례하였다. 1374년(공민왕 23)에는 명의 사신 임밀(林密)과 채빈(蔡斌)의 추천을 받아 관반(館伴)에서 밀직(密直)이 되었다.
1382년(우왕 8)에 명에 파견되어 요동에서 입국을 기다리는 도중에 요동도사(遼東都司)가 몇 년 간의 세공(歲貢)을 하나로 합치는 것은 불순한 의도가 있는 것이라며 접수를 거부하자 되돌아왔다. 1383년(우왕 9) 11월에 하정사(賀正使)로 다시 명에 파견되었으나, 명의 요구에 맞춰 겨우 마련한 세공물이 과거 5년 동안의 세공 약속과 다르다고 하여 김보생(金寶生) · 이자용(李子庸) 등과 함께 장형을 당한 후에 윈난〔雲南〕에 유배되었다.
이 때문에 1385년(우왕 11)에 조정에서 하성절사(賀聖節使)를 파견하려고 하였지만, 아무도 나서는 사람이 없었다. 특히, 밀직부사(密直副使) 진평중(陳平仲)은 명에 파견될 사신의 물망에 오르자 집권자 임견미(林堅味)에게 노비 90여 구(口)를 뇌물로 바치고 벗어날 수 있었다. 그러자 정몽주(鄭夢周)가 대신 파견되었다. 정몽주는 30일이나 늦게 출발하였으나, 기일에 맞춰 난징〔南京〕에 도착하여 홍상재 등을 유배지에서 모두 석방시켰다.