1923년 1월 12일 밤 8시 10분경 폭탄이 경찰서 서쪽 경무계 사무실에서 폭발하여 많은 사람이 부상을 당하였다.
투탄에 성공한 김상옥은 그날 밤으로 삼파동(三坡洞:지금의 후암동)에 있는 매부집에 은신하고 있다가 일본경찰에 포위되었다. 이 곳에서 총격전을 전개하여 형사부장 마에무라(前村)를 비롯하여 우메다(梅田)경부 등을 저격한 뒤 왕십리를 거쳐 효제동으로 도주, 은신하였다.
그러나 22일 다시 은신처가 일본경찰에 발각되어 치열한 총격전을 3시간 동안 전개하다가 마지막 남은 총탄으로 자결, 순국하였다. 이 사건으로 많은 동지들이 붙잡혀 투옥되었다.