갑오개혁 이후 신학제 실시에 따라 1895년(고종 32) 4월 교사양성을 목적으로 <한성사범학교관제>가 제정, 공포되었다. 이는 우리 나라 최초의 근대식 학교법규로서, 당시 초등교육기관인 소학교를 널리 보급하기 위해서는 무엇보다 교사양성이 시급하였기 때문이다.
관제의 공포와 함께 서울 교동에 설립된 한성사범학교(漢城師範學校)는 2년과정의 본과와 6개월과정의 속성과를 두고, 부속학교로 심상과와 고등과를 가진 3년제 소학교를 설치하였다. 본과의 입학연령은 20∼25세, 속성과의 입학연령은 22∼35세로 하였으며 정원은 본과 100명, 속성과 60명으로 하였다.
교과목은 본과의 경우 수신·국문·한문·교육·역사·지리·수학·물리·박물·화학·습자·작문·체조 등이었고, 속성과는 물리·화학·박물을 이과로 묶은 것을 제외하고는 본과와 같았다.
<한성사범학교규칙>에 나타난 교육요지에는 교육자로서 지키고 갖추어야 할 여러 가지 사항인 자아수련·충효·규율·질서·건강·교수방법 등에 관하여 언급하였다. 그러나 시일이 지날수록 시설의 미비와 한문학에만 힘쓰는 교과과정의 허점 등으로 큰 성과를 올리지는 못하였다.
그 뒤 1906년 <사범학교령>이 반포되어, 3년과정의 본과 외에 1년제 예과(豫科)·속성과·강습과 등을 두도록 하였으며, 설립 주체는 국·공립이어야 하고 사립은 허가하지 않았다.
본과와 속성과 학생에게는 학비가 지급되고 전원을 기숙사에 수용하였으며, 졸업 후 취직이 완전히 보장된다는 특전 등으로 다른 관공립학교에 비하여 지원자가 많았다.
당시의 사립사범학교로는 대구사범학교·서우사범학교(西友師範學校)·국민사범학교·평북관찰부사범학교·강서군사립개천사범학교(江西郡私立開天師範學校)·진주사범학교·원산사범학교·광주사범학교·진위군사범양성학교(振威郡師範養成學校) 등이 있었다.
대구사범학교는 1906년 4월 경상북도관찰사 신태휴(申泰休)를 중심으로 한 대구의 유지 20여 명이 기금을 모아 설립하였으며, 초대 교장에 서상하(徐相夏)가 취임하였다. 학생 100여 명을 모집하여 5개월 동안 사범교육을 실시하다가 같은 해 9월에 폐교되었다.
서우사범학교는 서우학회(西友學會)에서 교육구국(敎育救國)을 위한 교사양성이 시급함을 깨달아 1907년 1월에 서우사범학교라는 사범속성과 야학교를 설립하였다. 교장에 박은식(朴殷植)이 취임하여 25∼40세의 학생을 모집하였으며, 1908년에 한북흥학회(漢北興學會)에서 설립한 한북의숙(漢北義塾)과 합하여 서북협성학교(西北協成學校)로 개편되었다.
국권상실 이후 1911년에 일제는 <조선교육령>을 반포하여 사범학교를 폐지하고, 관립고등보통학교에 1년제 사범과 또는 1년 이내의 교원속성과를 두어 보통학교의 교원이 되려는 자에게 필요한 교육을 실시하도록 하였다. 그 뒤 3·1운동 이후 일제의 이른바 문화정치 표방에 따라서 1922년 제2차 <조선교육령>을 공포, 사범학교제도를 다시 도입하였다.
이에 따르면 사범학교는 관공립으로 하고 수업연한은 6년으로 하되 보통과 5년, 연습과 1년으로 나누었으며, 여자의 경우에는 보통과를 4년으로 단축하여 수업연한을 5년으로 정하였다.
보통과의 입학자격은 보통학교를 졸업하거나 이와 동등한 자격이 있는 자로 하였고, 연습과의 입학자격은 보통과를 수료한 자나 고등보통학교를 졸업한 자 또는 이와 동등한 자격이 있는 자로 정하였다. 또한 특별한 사정이 있을 때는 특과를 두었는데, 특과의 수업연한은 2∼3년으로 하고 입학자격은 보통학교 고등과 졸업자로 하였다.
사범학교에는 연구과나 강습과를 두기도 하였는데, 연구과는 특과만을 둔 사범학교에 둘 수 있었다. 또한 사범학교에는 부속보통학교를 두었고 유사시에는 공립보통학교를 부속학교로 대용하게 하였으며, 특별한 경우에는 관립고등보통학교에 사범학교 제2부 연습과(제1부는 일본인) 또는 강습과를 부설할 수 있었다.
이에 따라 경성·대구·평양의 3개 관립사범학교에서 1종훈도(一種訓導), 각 도의 사범학교에서 2종훈도를 양성하였으며, 전국에 15개의 사범학교가 있었는데 그 중 10개 학교는 남한에 위치하였다.
일제강점기의 사범학교는 연습과·보통과·심상과·강습과·본과·임시특설과 등 입학자격과 연한 및 졸업 후의 대우가 각기 다른 많은 과가 있어 체제가 매우 복잡하였으나, 교육내용은 모두 일제의 식민지정책을 충실하게 실천하는 교원의 자질 함양에 목적을 두었다. 1944년에는 경성사범학교와 대구사범학교를 중등교원 양성기관인 사범전문학교로 개편하였다.
광복 후 학교 및 학생의 증가로 사범학교 수가 1953년경에는 서울·인천·춘천·강릉·청주·충주·대전·공주·전주·군산·광주·목포·순천·대구·안동·부산·진주·제주 등 18개 학교에 달하였으며, 이들은 광복 이후 1950년대까지 초등교원 양성의 주축을 이루었다.
그러나 교육인구의 증가에 따라 사범학교 졸업생만으로는 교원의 수효를 충족시키기 어렵게 되자, 이들 사범학교에 단기 강습과나 임시초등교원양성소를 부설함과 동시에 각 도에는 초등교원양성소를 설치하였다.
1949년 제정된 <교육법>에서는 사범학교의 수업연한을 3년으로 하고 중학교 졸업자를 입학대상으로 하였다. 또한 1950년대 이후 사범학교에 연수과를 부설하여 초등교원 수급을 보충하였으나 교원부족현상은 여전하여, 일반 여자고등학교와 간호고등학교에 교직과를 설치하여 교직과목과 교육실습을 이수하면 국민학교 준교사자격증을 주기도 하였다.
1950년대 중반부터 사범학교 과정을 초급대학 과정으로 연장, 승격시키려는 운동이 전개되기 시작하여 1957년 교직교육심의회의 설치로 본격화되었다. 이에 따라 1961년 <교육에 관한 임시특례법>을 공포하여, 종래의 사범학교를 1962년 3월부터 2년제 국립교육대학으로 승격, 개편함으로써 새로운 형태의 초등교원 양성기관이 재발족하게 되었다.
한편 1950년대에 설치된 임시초등교원양성소는 수급사정의 완화와 조절에 따라 1958년까지 모두 폐지되어 초등교원양성은 전문양성기관인 사범학교로 일원화된 바 있다.
사범학교는 개화 초기에 근대적 신학제에 의하여 국가가 설치한 최초의 근대적 교육기관인 한성사범학교에서 출발하여 60∼70여 년 동안 초등학교 교원을 배출하였으며, 현재 11개 교육대학의 모체로서의 구실을 담당하였다.