1869년 9월 21일 경기도 용인 출생으로 호는 취운(翠雲), 본관은 인동(仁同)이다. 1895년(고종 32) 관비유학생으로 일본으로 건너가 1896년 경응의숙(慶應義塾) 보통과, 1897년 고등과를 졸업했다. 1902년 동경제국대학(東京帝國大學) 법과대학 선과(選科)를 졸업했으며, 같은 해 동대학 대학원에서 1903년까지 행정법을 수학했다.
귀국 후 1904년 8월 궁내부 어공원(御供院) 주사를 거쳐 10월 궁내부 제실제도정리국 비서, 1905년 12월 학부 참서관 겸 외국어학교 교장, 1907년 3월 학부 편집국장 겸 관립 한성사범학교 교장을 지냈다. 1907년 7월 한성부윤에 임명되었으며, 11월 자위단원호회(自衛團援護會)의 회장, 1909년 11월 관민추도회 설행위원 등을 맡았다.
한일강제병합 후, 1910년 평안남도 참여관, 1914년 평안남도 지방토지조사위원회 위원, 1917년 충청북도 장관 및 충청북도 지방토지조사위원회 위원장으로 활동했으며, 1919년 8월 조선총독부 지방관제 개정으로 충청북도지사가 되었다. 1920년 고등관 1등으로 승진해 1921년 조선총독부 총독관방 외사과 사무관에 임명되어 민정시찰을 담당했고, 1924년 전라남도지사에 임명되었다.
1926년 8월 공직에서 물러나 조선총독의 자문기구인 중추원의 칙임관 대우 참의에 임명되어 해방 때까지 여섯 차례 연임했다. 중추원의 칙임관 대우 참의를 역임하면서 1931년 경성도시계획연구회 간사, 1932년 조선교육회 부회장, 1934년 시중회(時中會) 평의원, 1938년 국민정신총동원조선연맹(國民精神總動員朝鮮聯盟) 발기인 및 평의원, 1941년 국민총력조선연맹(國民總力朝鮮聯盟)의 평의원과 조선임전보국단(朝鮮臨戰報國團) 발기인 등으로 참여했으며, 해방 직전인 1945년 5월 이왕직(李王職) 장관에 임명되었다.
해방 후, 1949년 2월 반민특위에 체포되었으나 4월 병보석으로 석방되었고, 1950년 8월 20일 사망했다. 상훈으로는 1912년 8월 한국병합기념장, 1915년 11월 다이쇼[大正] 천황 즉위기념 대례기념장, 1920년 7월 훈2등 서보장, 1928년 11월 쇼와[昭和] 천황 즉위기념 대례기념장 등이 있다.
장헌식의 이상과 같은 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」제2조 제9·17·19호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』Ⅳ-15: 친일반민족행위자 결정이유서(pp.681~717)에 관련 행적이 상세하게 채록되었다.