함경북도 종성 출신으로 사촌 형은 명동학교(明東學校)를 설립한 규암(圭巖) 김약연(金躍淵)이다.
사촌 형 김약연이 용정(龍井) 장재촌(長財村)으로 이주할 때 함께 동행하였다. 김학연(金學淵)은 서전서숙(瑞甸書塾)의 을반 학생으로 역사, 지리, 수학, 국제공법, 헌법 등 근대교육을 받았다.
서전서숙은 1906년 이상설(李相卨)의 주도로 북간도 용정을 독립운동 기지로 개척하는 과정에서 설립된 민족주의 교육기관이었다. 서전서숙의 설립을 주관한 이상설을 비롯하여 이동녕(李東寧), 정순만(鄭淳萬), 여준(呂準), 박정서(朴禎瑞) 등 민족주의자들의 헌신적 노력의 결과로 1906년 10월경 개숙(開塾)[개교]하였다.
서전서숙을 졸업한 김학연은 사촌 형 김약연, 박정서, 문치정(文治政), 남위언(南葦彦), 김하규(金河奎), 여준 등과 함께 화룡현(和龍縣) 대랍자(大拉子) 명동촌(明東村)에 명동학교를 설립하였다.
명동학교는 명동서숙(明東書塾)으로 출발하였으며, 1909년에는 신민회에서 파견된 정재면(鄭載冕)을 단장으로 하는 ‘북간도교육단’을 조직하여 독립정신에 기초한 신교육을 철저하게 실시하기로 하였다. 김학연은 명동학교 교원으로 활동하였으며, 1912년경에는 교감을 역임하였다 당시 학감은 김정규(金貞奎), 서무는 문치정이 맡았다.
김학연은 1920년 제국주의 일본의 간도 출병 이후 용정 지역 조선인거류민회(朝鲜人居留民会) 의원으로 활동하였다. 당시 조선인거류민회 임원은 한인 사회의 여론을 선도할 수 있고 신망이 높은 자이며, 중국 지방당국과의 교섭 능력이 있는 자들이었다.
이는 중국 지방 당국이 조선인거류민회가 한인들을 회원으로 입회시키거나 회비를 징수하는 등의 모든 활동을 불법 행위로 간주하였기 때문에 거류민회 입장에서는 중국 지방 당국과의 교섭이 필수적이었다. 김학연과 활동했던 용정촌 조선인거류민회장은 이희덕(李熙悳)이었다.