생몰년 미상. 본관은 울진(蔚珍)이다. 할아버지는 장천말(張天末)이다.
장천말은 조선 건국 직후 고려 공양왕(恭讓王)의 왕자인 왕석(王奭)을 옹립하여 왕씨의 복위를 도모했다가 실패하였다. 장백손은 1471년(성종 2) 사마시에 합격하였고, 1487년(성종 18) 무과에 급제하여 내금위에 제수되었으며, 수문장으로 활동하기도 하였다. 1490년(성종 21) 갑산진(甲山鎭) 병마만호(兵馬萬戶)를 지냈으며, 1491년(성종 22)에는 여진족을 진압하는 데 공을 세웠다. 1503년(연산군 9) 태안 군수를 비롯해 1504년(연산군 10)에 강계 부사가 되었다가 중종대에는 순천 부사, 원주 부사, 경흥 부사를 지냈다. 1523년(중종 18)에는 어모장군(禦侮將軍) 행오위도총부경력(行五衛都摠府經歷)에 제수되었고, 1531년(중종 26)에는 통정대부(通政大夫)에 올랐다.
만호에 재직하던 시기인 1491년(성종 22) 우디거〔兀狄哈〕여진족이 변방을 침략하여 조산보(造山堡)를 점령하였다. 이때 영안도 관찰사 허종(許琮)을 도와 이들을 정벌하는데 공을 세웠다. 1528년(중종 23)에는 당시 울진 읍치가 있던 고산성(古山城)이 기울고 물이 없어 적을 막기 어렵다고 하여 읍치를 고현성(古縣城)으로 옮기자는 상소를 제출하였다.
1967년 후손 장헌규 등이 중심이 되어 세운 경흥부사 장백손유허비(慶興府使張伯孫遺墟碑)가 현재의 경상북도 울진군 죽변면 후정 2리 매정동에 위치해 있다. 장백손의 무과 홍패 등은 2007년 1월 8일 경상북도 유형문화재(현, 유형문화유산)로 지정되었다.