1969년 서울특별시 유형문화재(현, 유형문화유산)로 지정되었다.
원래 장충단비와 사당이 있었던 곳은 지금의 신라호텔 쪽이었는데 1969년에 지금의 자리로 옮겨 세웠다. 장충단비의 앞면에 씌여진 글자는 순종 황제가 황태자 시절에 쓴 친필이고 뒷면에 새겨진 찬문(撰文)은 당시 육군부장(陸軍副將)을 지내던 충정공(忠正公) 민영환(閔泳煥)이 지었다.
장충단 공원은 지금으로부터 약 250년 전인 영조 임금 때 서울 도성의 남쪽을 수비하던 군영(軍營)인 남소영(南小營)이 있었던 곳으로 고종 임금이 이곳 남소영 터에 장충단을 꾸민 뒤로는 장충단이라 불리어 왔다. 1894년(고종 31)에 갑오농민운동이 일어나자 청나라와 일본은 조선의 어려운 시국을 진정시킨다는 핑계로 한반도에 병력을 파견하여 결국 청일전쟁을 일으켰다.
이 전쟁에서 일본이 승리하자 조선왕조의 내정에 관여하여 갑오개혁을 단행하였다. 그리고 이듬해인 1895년에는 러시아의 개입을 견제하기 위하여 러시아와 친밀관계에 있던 명성황후를 제거하기에 이르렀다.
1895년 8월 19일 밤 궁내대신(宮內大臣) 이경직(李耕稙)은 궁중에서 숙직을 하고 있었는데 8월 20일 새벽 일본의 난군(亂軍)과 자객(刺客)들이 명성황후가 거처하던 건청궁(乾淸宮)을 습격하는 이른바 을미사변(乙未事變)이 일어났다.
이 때 이경식은 명성황후를 보호하려다 순사(殉死)하였고 또 당시 부령(副領)이었던 홍계훈(洪啓薰)도 이날 새벽 경복궁으로 밀려드는 난군들의 총소리를 듣고 급히 달려와 광화문을 가로막고 난군의 진입에 대항하였으나 역부족으로 수없는 총칼의 상처를 입고 역시 순사하였다.
그 후 고종 임금은 1900년(광무 4) 옛 남소영 터에 제단을 꾸며 을미사변 당시 순사한 두 사람의 충신 및 군졸들의 혼을 받들고 이 제단의 이름을 장충단이라고 하였다.
장충단에서 제례를 지낼 때에는 군악을 연주하고 군인들이 조총(弔銃)을 쏘기도 하였는데 그 광경이 백성들에게 널리 알려져 “남산 밑에 장충단 짓고/군악대 장단에 받들어 총일세”라 하는 민요가 불리어졌다고 한다. 장충단에는 원래 사당과 부속건물이 남아 있었으나 6·25전쟁 때 없어졌으며 장충단비만 오늘날까지 전하고 있다.