1903년 함경북도 명천 출생으로, 1927년 니혼대학[日本大學]을 졸업했다.
1949년부터 해군사관학교 교장으로 재직했고, 1955년 해군대학교 총장이 되었다. 1956년 해군함대부사령관을 거쳐 1959년 해군통제 부사령관을 역임하고, 1961년 해군 중장으로 예편했다. 예편 직후 인하공대 학장을 맡아 활동하다 1963년 배덕진 장관의 후임으로 제15대 체신부 장관에 임명되었다.
당시 대통령 선거를 앞두고 선거관리형 내각을 구성하는 차원에서 이루어진 인사였다는 평가가 있었으며, 실제로 그의 임기는 1963년 12월까지였다. 한편 당시 언론은 “체신부의 외국기계 도입과 관련한 의혹과 비싼 전화요금으로 비난받던 체신부에, 교육자로서 학원에 있던 김장훈 장관의 양식과 봉사정신에 기대하는 바가 크다”라는 환영과 기대를 보내기도 했다. 장관 재임 중에는 국제텔렉스 개통 등의 성과를 내기도 했다.
장관 퇴임 후 재향군인회 부회장, 성우구락부 이사, 재향군인회 자문위원, 코리아타코마조선 고문 등을 역임했으며, 1990년 3월 2일 숙환으로 사망하였다.