1883년 3월 26일 경상북도 칠곡 출생으로, 본관은 인동(仁同)이다. 경상북도관찰사를 지낸 장승원(張承遠)의 아들이며, 해방 후 국무총리를 지낸 장택상(張澤相)의 형이다.
1903년 5월 경기전(慶基殿) 참봉, 1904년 1월 산릉도감(山陵都監) 감조관(監造官)을 거쳐 1910년 6월 경상북도관찰도 신령군수에 임명되었고, 1911년 6월 경상북도 비안군수, 1912년 10월 경상북도 하양군수, 1913년 3월 선산군수를 지냈다.
1915년 6월 경상북도 지방토지조사위원회 임시위원을 맡았으며, 1916년 3월 관직에서 물러나 기업인이 되었다. 1917년 7월 대구은행과 선남은행 취체역으로 시작해 1920년 4월 경일은행을 설립한 후 이사가 되었고, 1920년 8월 왜관금융창고주식회사와 동아인촌(東亞燐寸)주식회사를 설립해 사장이 되었다.
1922년 5월부터 1927년 4월까지 경상북도 도평의회원으로 활동하며, 1924년 대구상업회의소 특별의원, 1925년 동민회(同民會) 경상북도지부 평의원, 대구신용조합 평의원, 대구상업회의소 회두(會頭), 1926년 조선중앙철도속성대구기성회 회장 등을 겸임했다.
도평의회원 임기 후에는 1927년 대구의학전문학교설치기성회 부회장, 영흥탄광주식회사 감사, 1928년 조선병비충실(兵備充實)기성회 위원, 1929년 광영산업주식회사 발기인으로 활동했다.
1930년부터 1945년까지 조선총독의 자문기구인 중추원 참의로 활동하였고, 해방 때까지 다섯 차례 연임했다. 1932년 중추원을 대표해 만주국 건국식에 참석했으며, 영남명덕회이사와 조선신탁주식회사 이사로 활동했다.
중추원 시정연구회 경제부 위원으로도 활동하며 1934년 11월 시중회(時中會)에 가입해 이사로 선출되었고, 1936년 9월 경북화물자동차주식회사 취체역, 1938년 4월 매일신보사 감사역에 선임되었다.
이후 1939년 국민정신총동원조선연맹 평의원과 조선유도연합회의 평의원, 경상북도유도연합회 참여(參與), 1940년 국민총력조선연맹의 평의원으로 선임되었고, 1941년 조선임전보국단 조직과 함께 경상북도 발기인 및 이사로 활동하며 일제에 협력했다.
1944년에는 농업보국농본회(農業報國農本會) 감사와 조선비행기공업주식회사 취체역을 맡았으며, 1945년 대화동맹(大和同盟) 심의원으로 활동하던 중 해방을 맞았다.
해방 후, 1945년 12월 임시정부계가 추진한 애국금헌성회 중앙위원을 맡았고, 1946년 1월 미군정청이 관리하는 남선전기회사의 사장,3월 조선경제협의회 감사, 9월 대한생명보험회사 취체역 회장 등을 지냈다. 1949년 반민특위에 자수해 기소유예 처분을 받았으며, 1959년 4월 17일 사망했다.
상훈으로는 1912년 8월 한국병합기념장, 1915년 11월 다이쇼[大正] 천황 즉위기념 대례기념장, 1928년 11월 쇼와[昭和] 천황 즉위기념 대례기념장, 1935년 10월 시정 25주년 기념표창, 1940년 11월 기원 2600년 축전기념장 등이 있다.
장직상의 일제시대 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」제2조 제9·13·14·17호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』Ⅳ-15: 친일반민족행위자 결정이유서(pp.608~657)에 관련 행적이 상세하게 채록되었다.