일본 패전 당시 히로시마에는 강제동원 노동자를 포함하여 약 14만 명 정도의 조선인이 거주하고 있었다. 1972년에 한국의 원폭피해자협회는 이 가운데 히로시마 원폭으로 총 5만 명의 피해자가 발생했고 그 중에 3만 명이 사망했다고 발표했다. 그리고 생존자 2만 명 가운데 귀국자가 1만 5천 명, 잔류자가 5천 명 정도 되는 것으로 보았다. 1967년 한국에서 ‘원폭피해자협회’가 결성된 후 지속적으로 일본정부에 대해 치료와 피해 보상을 요구하는 과정에서 1970년 4월에 민단 히로시마 본부의 주도 아래 한국인원폭희생자 위령비가 건립되었다.
1967년 원폭 피해자 윤병도(尹炳道)씨를 중심으로 하여 히로시마 거주 재일한인이 뜻을 모아 히로시마 시장에게 위령비 건립계획을 제출했고 호의적인 답변을 얻어냈다. 이에 따라 ‘히로시마한국인희생자위령비건립위원회’가 결성되어 당시 민단 히로시마 단장 장태희(張泰熙)씨를 위원장으로 추대하고 위령비 건립사업에 들어갔다.
처음에는 평화공원 안에 건립하기를 희망했으나 평화공원 안에 이미 각종 위령비와 기념비가 많이 때문에 더 이상 허가할 수 없다고 하는 행정 답변을 받고 위원회는 평화공원 바깥에 위령비를 건립하게 되었다. 재일한인의 모금을 통해 250만 엔에 달하는 건립 비용을 마련했고 건립을 추진하여 1970년 4월 10일 제막식을 거행했다.
그 후, 재일한인과 일본인에 의한 시민단체가 나서서 평화공원 안으로 이관 설치할 것을 요청했고, 1998년 12월 히로시마 시당국으로부터 이전 승인을 얻어냈다. 이에 따라 공사를 위하여 재일한인과 일본인을 대상으로 모금 운동에 들어갔고, 1999년 5월 21일에 기공식을 거쳐 7월 21일에 평화공원 안으로 이전 설치되어 오늘에 이르고 있다.
검은색 대리석 비석 앞면에는 한국식 한자로 ‘한국인원폭희생자위령비’가 새겨있고 비석 뒷면에는 한글로 ‘위령비의 유래'가 적혀있다. ‘위령비의 유래'는 “제2차세계대전이 끝날 무렵 히로시마에는 약 10만 명의 한국인이 군인 군속 징용공 동원학도 일반시민으로서 살고 있었다. 1945년 8월 6일의 원폭투하로 인해 2만 여명의 한국인이 순식간에 소중한 목숨을 빼앗겼다. 히로시마 시민 20만 희생자의 1할에 달하는 한국인 희생자 수는 묵과할 수 없는 숫자이다(후략)”라고 되어 있다.
높이 5미터, 무게 10톤으로 전형적인 한국식 비석이다. 거북이 모양을 한 받침대 위에 석주를 세웠으며 그 위에는 쌍용 모양을 새긴 석관이 올려 있다. 한국에서 모두 제작되어 히로시마로 운반되어 건립된 것이다.
1970년부터 이 비석 앞에서 매년 8월 5일 한국인희생자 위령제가 열리고 있다. 재일한인 피폭 희생자를 추도하는 대표적인 행사다.