1907년 김효영(金孝英)과 손자 홍량(鴻亮) 등이 교육 구국(敎育救國)을 위하여 초등교육기관으로 이 양산소학교를 설립하였다. 김구(金九)가 교장으로 취임하였기 때문에 황해도 일대의 뜻있는 청소년들은 모두 이곳으로 모여들었다.
설립되던 해에 면학회(勉學會)와 공동 주최로 하기 사범강습회(夏期師範講習會)를 개최하였는데, 이 때 강사로 최광옥(崔光玉)·김구 및 당시 17세의 이광수(李光洙)도 초대되었다. 이 강습회에는 사숙훈장(私塾訓長)들과 스님, 백발이 성성한 노인까지 강습생으로 참석하였으며, 멀리 경기도·충청도에서까지 강습생이 몰려와 그 수는 400여 명에 달하였다.
강습회의 주제는 ‘무너져 가는 조국을 일으키려면 자녀를 교육시키라.’였다. 교과목은 최광옥이 국어·생리학·물리학·식물학·경제원론 등을, 고정화(高貞華)가 한국사를, 이광수가 서양사를 담당하였다.
이 때 이 소식을 전해 들은 안창호(安昌浩)는 “우리 삼천리강토 13도마다 안악과 같은 고을이 하나씩만 생겨도 이 나라의 문명은 10년 안에 일본을 따라잡게 될 것이다.”라고 격찬해 마지 않았다.
제2회 때는 김구의 발의로 모두 삭발을 하기도 하였고, 제3회 때는 황해도와 평안도에서 모여든 청강생이 700여 명이나 되었다. 이 때 김구는 이들에게 ‘한국인이 배일하는 이유가 무엇인가’라는 강연을 하였다.
1909년에는 일본에서 유학을 마치고 돌아온 김홍량의 발의로 김효영이 낸 3,000원과 지방유지들의 의연기금 3,000원을 적립하여 중등교육기관인 양산중학교를 설립하여 교육 구국운동의 폭을 넓혔다.
김효영은 일찍부터 신교육의 필요성을 깨닫고 장손 홍량을 일본에 유학보냈을 뿐 아니라, 양산소학교가 한때 경영난에 빠졌을 때에는 익명으로 벼 100석을 기부한 일도 있었다.
이와 같이 양산학교를 중심으로 퍼져 나가는 교육운동은 국권 회복을 위한 인력 증강과 직결되었다. 그러므로 이곳 황해도 일대의 민족 지도자와 이에 자극받은 주민들의 배일사상이나 주권 회복에 대한 투철한 자각은 신민회(新民會)를 중심으로 한 평안도와 함께 손꼽힐 만큼 발전하였다.
이처럼 양산학교를 중심으로 우리 민족의 지도급 인사들이 모여들어 교육 구국운동을 전개하자, 일제 통감부는 이 학교를 그들이 말하는 불온한 핵(核)의 원점이라고 보고 이를 없애기 위한 단서포착에 부심하였다. 이런 줄도 모르고 안명근(安明根)이 종형인 안중근(安重根)의 뜻을 이어 만주에 무관학교(武官學校)를 설립할 계획으로 황해도 부호들을 심방하다가 안악에 들르게 되었다.
그는 안악에 머무는 동안 양산학교와 해서교육총회(海西敎育總會)의 여러 지도자들을 만나 서로 회포를 풀고 포부를 나누었다. 그러나 1910년 12월에 안명근의 독립운동 자금모금 사건이 일제에게 탄로나자, 일제 통감부는 그가 안악에 머무는 동안 양산학교와 해서교육총회 간부들을 두루 만났다는 구실로 이른바 안악사건을 조작하였다. 이 사건으로 양산학교는 폐교당하게 되었다.
이 학교는 해서지방 교육 구국운동의 선봉이 되어 민족의 단합과 독립정신을 드높이는 데 크게 기여하였다.