본관은 안동(安東). 평안북도 용천 출신. 1920년평안북도 선천 소재 신성중학교(信聖中學校)를 졸업하고, 이듬해에 연희전문학교 수물과에 입학하여 우리 나라 최초의 이학박사인 이원철(李源喆)의 가르침을 받았다.
1925년 이 학교를 졸업하고 그 해 연희전문학교 조수로 근무하였다. 1929년 일본 도호쿠제국대학[東北帝國大學] 이학부 수학과를 한국인으로는 처음으로 졸업하였다. 곧 귀국하여 이화여자전문학교에 전임교수로 부임함과 동시에 연희전문학교의 강사로 출강하였다.
그 뒤 1939년 모교인 연희전문학교의 교수로 옮겼다. 광복되던 이듬해인 1946년에는 이 전문학교 이학원장을 돕는 실장직을, 또 1952년에는 대한수학회 부회장직을 각각 역임하였고, 1961년에는 연세대학교 총장직무대리와 동대학교 부총장으로 이공대학장을 겸직하였다.
1962년 경북대학교로부터 명예이학박사 학위를 받았으며, 대한수학회 회장으로 피선되었다. 우리 나라 현대 과학교육의 선구자 구실을 한 공로로 1966년 대한민국학술원 회원으로 추대되었으며, 그 해 63세를 일기로 죽었다.
그 뒤 연세대학교 교정에 그의 공로를 기리기 위하여 장기원기념관을 건립하였고, 그 곳에는 유언에 따라 기증된 희귀한 중국 수학관계 문헌을 다수 소장하고 있다.