1904년 러시아 연해주에서 태어났다. 포시에트(Pos'et) 지역에서 소련공산당 지방당 간부로 활동하였다. 1945년 8월 소련군의 북한진주와 더불어 입국하였고, 1945년 10월 조선공산당 북조선분국의 조직부장으로 선출되었다.
1946년 8월 북조선노동당 창립대회에서 중앙위원 및 상무원이 되었고, 1948년 9월 당2기 3차 전원회의에서 주영하(朱寧河)를 대신하여 당 부위원장으로 승진되었다. 1949년 6월에 개최된 남북노동당 연석회의에서 박헌영(朴憲永)과 함께 조선노동당 부위원장으로 선출되어 노동당의 실질적인 관리자가 되었다.
그 후 1951년 1월 부수상인 김책(金策)이 사망한 뒤에는 내각 부수상직까지 겸하게 되었다. 6·25전쟁기 인민군이 패주할 당시 노동당원들이 당원증을 소각하거나 파기, 매몰하는 경우가 많았는데 그로 인해 1950년 11월에 열린 조선로동당 제3차 전원회의에서 당시 당 관리책임자였던 허가이가 처벌을 받았다.
본래 허가이는 소련공산당의 지방당 간부였기 때문에 북한의 노동당과 같은 대중정당보다는 볼셰비키당처럼 노동계급의 전위조직이 되어야 한다는 입장이었다. 때문에 평소에 노동당의 당원 자격기준에 불만을 가지고 있었으며, 당증 파기와 같은 규율을 위반한 당원은 당연히 출당시켜야 한다는 주장을 하였다.
한편, 이무렵 박헌영 일파와 합세하여 농업정책과 식량정책에 반기를 들었다. 김일성(金日成)은 허가이의 좌경적 행동에 책임을 물어 당 부위원장직에서 해임시키고 부수상 자리만 갖도록 하였다. 1952년 초에는 평양 부근 저수지 개수공사를 맡게 되었는데, 이는 그에 대한 숙청의 신호였다.
1953년 박헌영 일파에 대한 내사가 본격화되자 그를 알아차린 허가이는 자기 집에서 권총으로 자살하였다. 그의 자살을 공식적으로 밝힌 것은 1953년 8월에 개최된 당6차 전원회의이다.