1895년 을미사변으로 명성황후 민씨(明成皇后閔氏)가 살해된 지 5년 뒤인 1900년 9월, 고종은 남소영(南小營) 자리에 장충단을 꾸며 사전(祠殿)과 부속건물을 건립, 을미사변 때 순사한 장졸들의 영혼을 배향하여 매년 봄 · 가을에 제사를 지냈다.
처음에는 을미사변 때 전사한 시위대장 홍계훈(洪啓薰), 갑오년에 순직한 영관(領官) 염도희(廉道希) · 이경호(李璟鎬)를 주신으로 제향하고 대관(隊官) 김홍제(金鴻濟) · 이학승(李學承) · 이종구(李鍾九) 등 장병들을 배향하여 제사지냈다.
그러나 ‘창선(彰善) · 표충(表忠)의 일이 어찌 군인에게만 한할 것이랴.’는 육군법원장(陸軍法院長) 백성기(白性基)의 제청에 의해 다음해부터 을미사변 때 순국한 궁내부대신 이경직(李耕稙)을 비롯해 임오군란 · 갑신정변 당시에 순의(殉義), 사절(死節)한 문신들도 추가되어 문무의 많은 열사들이 장충단제향신위(奬忠壇祭享神位)에 포함되었다.
제사를 지낼 때에는 군악을 연주하고 군인들이 조총(弔銃)을 쏘았다. 그러나 1910년 8월 장충단은 일제에 의해 폐사되고 말았다. 1920년대 후반부터 일제는 이곳 일대를 장충단공원으로 이름하여 벚꽃을 심고 공원시설을 설치하였으며, 상해사변(上海事變) 당시 일본군인 결사대로 전사한 육탄삼용사의 동상과 이토(伊藤博文)의 보리사(菩提寺)인 박문사(博文寺)를 건립하였다.
광복 후 육탄삼용사의 동상과 박문사는 철거되었다. 6·25전쟁으로 장충단 사전과 부속 건물은 파손되었으나 장충단비는 남아 있다. 이 비는 원래 영빈관 내에 있었는데, 1969년 지금의 수표교 서편으로 옮겼다. 장충단비는 1969년 서울특별시 유형문화재(현, 유형문화유산)로 지정되었고, 수표교는 1973년 서울특별시 유형문화재로 지정되었다.
비의 ‘奬忠壇(장충단)’ 세 글자는 순종이 황태자였을 때 쓴 글씨이며, 뒷면에는 민영환(閔泳煥)이 쓴 143자의 찬문(撰文)이 새겨져 있다. 정부수립 후 장충단공원 경내에는 여러 공원시설이 들어섰다.