평안남도 베기섬[碧只島] 출신. 장동상(張東商)의 아들이다.
9세 되던 해에 안주로 이사하였다. 원래는 평양성 밖에 한 문중(門中)을 이루고 살다가 청일전쟁 때 한때 그 섬으로 피난을 갔었다. 1908년 유신소학교(維新小學校)와 1912년 숭실중학교(崇實中學校)를 졸업하고, 이듬해 9월 일본 세이소쿠영어학교(正則英語學校)에 진학하여 일어와 영어를 공부하였다.
1914년 여름방학을 맞아 일시 귀국하였으나 가세가 기울어 일본으로 돌아갈 수 없게 되었다. 그래서 유신소학교에서 일어를 가르치며 김화식(金化湜)과 함께 미국 유학의 길을 모색하던 중 1916년 11월 일제의 눈을 피하여 조국을 탈출, 상해를 거쳐 샌프란시스코에 도착하였다. 1917년 안창호(安昌浩)를 만나 그의 인격과 논리정연한 조국독립 방략에 깊은 감명을 받아 흥사단(興士團)에 입단하였다.
1918년 듀북(Dubugue)대학에 입학하여 전공인 교육학은 물론, 사회학 · 경제학 · 생물학 · 지리학 · 사회심리학 · 종교철학 등을 공부하며 폭넓은 교양을 쌓았다. 특히, 자연과학에 깊은 흥미를 갖고 토론에 참가하였다. 1925년 6월 대학을 졸업하고 흥사단에서 서무 일을 보면서 안창호로부터 많은 감화를 받았다. 1926년 컬럼비아대학교 사범대학원에서 교육학을 전공하여 이듬해에 석사학위를 받았다.
1928년에 귀국하여 신성학교(信聖學校)의 교장이 되었으며, 신사 참배 거부가 발단이 된 이른바 ‘동우회사건’으로 1937년 5월 일제에 체포되었다가 이듬해 8월 보석으로 석방되었다. 공직을 가질 수 없는 상황이라 친지의 권유로 평양자동차공업주식회사의 사장을 맡아 생계를 유지하다가 광복을 맞았다.
광복과 함께 서울에 와서 경성사범학교(京城師範學校) 교장에 임명되었고, 이듬해 3월에는 한국교육사절단의 일원으로 미국 시찰을 다녀오면서 듀북대학에서 명예법학박사 학위를 받았다. 1946년 8월 국립 서울대학교 창설에 따라 초대 사범대학장이 되었으며, 1948년 5월 제3대 서울대학교 총장에 취임하였으나 정부수립 후인 11월에 당시 이승만(李承晩) 정권으로부터 사직을 강요당하여 총장직을 사퇴하였다.
그 뒤 흥사단을 통한 사회교육활동에 진력하였으며, 1950년 12월경 미국무성 초청으로 미국으로 건너가 하경덕(河敬德) · 오천석(吳天錫) 등과 함께 평양 점령시에 가져온 문서를 영역(英譯)하는 일을 맡았고, 1951년 4월부터 약 5년간 유엔군사령부방송(VUNC)에서 프로그램 「장박사 시간」을 담당하였다.
1958년 귀국하여 흥사단 사업에 참여하였고, 1960년 10월 제2공화국 정부에 의해 임명된 주미 대사로 활동하였으나, 5·16군사정변은 아무런 정당성을 지니지 못한다는 성명을 발표하고 대사직을 사임하였다. 그 뒤 3년간 미국에 머무르면서 흥사단 미주위원부에서 『흥사단소식』이라는 월간지를 발행하며 재미 유학생들을 대상으로 흥사단운동을 전개하였다.
1964년에 귀국하여 당시 흥사단에서 여러 직책을 맡기도 하고, 강연과 집필을 하면서 지냈다. 그의 일생은 민주 교사의 배양, 도산사상(島山思想)의 설파와 전파, 사회의 교육화라는 세 가지로 요약될 수 있다.