일제강점기에는 구용산고지(舊龍山高地)라 불렸으며, 일본인들이 이 효창원에 관심을 가지기 시작한 것은 1894년 청일전쟁 때 일본 병력이 효창원 앞 송림 안에 만리창(萬里倉)이 있던 곳에 야영하면서부터이다. 그 뒤 경성부가 효창원의 일부인 8만 1460평을 공원용지로 책정한 것은 1924년 6월이고, 같은 해 8월부터는 순환도로와 공중화장실 등을 설치하여 일반인의 이용을 허용하였다. 일제강점기에 문효세자의 묘를 경기도 고양시에 있는 서삼릉(西三陵)으로 옮기면서 효창원은 효창공원이 되었다. 도시계획상의 공원이 된 것은 삼청공원 · 장충단공원과 함께 1940년이며 당시 공원 면적은 31만 7000㎡이었다.
현재 공원 면적은 12만 3307㎡이다. 공원의 북쪽 높은 동산 위에는 이봉창(李奉昌) · 윤봉길(尹奉吉) · 백정기(白貞基) 등의 묘소가 있다. 세 사람의 묘는 1946년 7월 9일에 김구(金九)에 의하여 이곳으로 이장되었고, 1949년 7월 5일에는 국민장을 치른 김구의 유해도 이곳에 안장되었다. 김구의 유업을 계승하고 추모사업을 봉행하기 위해 2002년 10월에 개관한 백범김구기념관이 효창공원에 자리하고 있다.
공원 경내에는 1969년 8월에 원효대사의 동상이 세워졌으며 같은 해 10월 반공투사위령탑도 건립되었다. 바로 인접해서 효창어린이공원이 있으며 효창운동장도 있다. 또, 선열들의 묘역을 둘러싸고 아담한 산책로가 개설되어 있어 인근 주민의 사랑을 받고 있다. 이 공원은 위치가 도심에서 가까워 많이 잠식되었다. 효창운동장 등의 시설에도 잠식되었고, 동쪽에 인접한 숙명여자대학교 부지로도 잠식되었다. 서울지하철 5호선 공덕역과 6호선 효창공원앞역이 개통됨에 따라 방문하기가 훨씬 수월해졌다.