1895년 「소학교령」이 공포됨에 따라 같은 해 11월 15일 한성 창선방(彰善坊)양사동(지금의 서울 종로구 종로6가)에서 관립 양사동소학교(養士洞小學校)로 설립되어 수업연한 3년의 심상과를 설치하였다. 1902년 9월에는 허환(許煥)이 교장에 취임하고, 1학년 당 1학급씩 설치하여 총 3개 학급에 재학생 119명으로 증가하였다.
1896년 8월에 숭교방(崇敎坊) 양현동(지금의 서울 종로구 명륜동3가) 성균관 학사의 일부를 빌려 설립된 양현동소학교(養賢洞小學校)를 1907년 6월 22일 병합하고 건덕방(建德坊) 어의동(지금의 서울 종로구 종로5가)의 신축 교사로 이전하면서 수업연한 4년의 관립 어의동보통학교(於義洞普通學校)로 개편하였다.
같은 해 7월 개편 후 초대 교장에 이용원(李容遠)이 취임하였으며, 당시 재학생 수는 255명이었다. 1908년 3월 제1회 졸업생 19명을 배출하고, 관립에서 공립으로 전환하여 1911년 어의동공립보통학교로 교명을 변경하였다. 1915년 4월인현공립보통학교(仁峴公立普通學校)의 학생과 1916년 3월 사립 신흥학교(新興學校)의 학생을 수용하면서 11학급 557명으로 규모가 확대되었다.
1921년 남학생 수업연한 6년, 여학생 수업연한 4년으로 개편하였으며, 1938년 4월 경성효제공립심상소학교, 1941년 경성효제공립국민학교로 교명을 변경하였다. 광복 후 1945년 9월 서울효제국민학교로 재개교하여 초대 교장에 윤재천(尹在千)이 취임하였고, 그 뒤 점차 교세가 확장되어 1964년에는 64학급 5,100명까지 증가하였다. 1996년 3월 서울효제초등학교로 교명을 변경하였다.
2009년 현재 특수학급 2학급을 포함하여 29학급에 총 703명의 학생이 재학하고 있고, 교직원은 45명이 재직하고 있다.
교훈은 ‘건강하게, 성실하게, 슬기롭게’이고, 21세기를 선도할 자율적, 창의적, 도덕적 인간 육성을 교육목표로 하고 있다. 특색사업으로 에듀케어교실을 운영하고 있다.
‘국민교육헌장 이념 구현 방안’에 대한 전국 공개 발표회를 개최하여 문교부장관 표창을 수상하였으며, 그 밖에 새마을연구학교 우수학교 교육부장관상, 알찬수업 우수학교와 학교경영 우수학교로 교육감상을 수상하였다. 2002년에는 교육과정 우수학교에 선정되었고, 2003년 서울특별시 특별활동 시범학교에 지정되었다.
1948년 초등학교로는 최초로 밴드부를 창단하였고, 현재 운동부로 야구부와 축구부를 운영하고 있다. 1995년 개교 100주년을 기념하여 『효제 100년사』를 간행하였다.