1856년 서울에서 출생하였다. 1881년 무과에 급제하여 관직에 나갔고, 훈련원 판관, 군기시 첨정, 친군장위영 대관, 순무영 군관 등 무관으로 1894년까지 13년간 관직에 종사하였다. 1895년에는 한성피복회사를 설립하여 경영하였다.
한성피복회사를 설립한지 2년 후인 1897년에는 마차주식회사 설립에 참여하였고, 1900년에는 대한천일은행(大韓天一銀行) 설립에 투자하여 주주가 되었다. 이후에도 조선 재계에서 활동 범위를 넓혀서 1906년에는 대한천일은행 이사에 취임하였다. 그리고 같은 해 6월에는 농공은행(農工銀行) 은행장에 취임하였는데, 동 은행이 1918년 설립된 조선식산은행(朝鮮殖産銀行) 에 통합될 때까지 12년간 은행장의 지위에 있었다. 무관에서 퇴직하여 기업인으로 변신한지 약 10년 만에 금융계를 중심으로 조선을 대표하는 유력 경제인이 되었다.
무관이었던 그가 단기간에 재계의 유력 인물로 급부상할 수 있었던 이유는 일제의 조선 식민지화에 적극적으로 협력했기 때문이다. 특히 을사조약(乙巳條約)에 따른 일제 통감정치 하에서 재정 고문으로 들어온 메가타 다네타로〔目賀田種太郞〕의 화폐정리사업에 적극 협조하였고 그 공로로 한국병합기념장을 받았다. 1907년 메가타가 일본으로 귀국할 때에는 ‘메가타 남작 송별회’의 평의원을 맡았다. 1908년에는 식민지 국책기관의 상징이 된 동양척식주식회사(東洋拓殖株式會社)의 설립위원으로 참여했고, 1909년에는 식민지 중앙은행이 될 조선은행(朝鮮銀行) 설립에도 관계하였다. 같은 해 12월에는 일진회가 ‘한일합방 청원’을 위해 일본에 가는 데도 동참하였다. 1912년 메이지〔明治〕 일본 왕이 사망했을 때도 조선 경성부 대표 자격으로 일본을 방문하여 조문했다.
친일의 강도에 비례하여 조선 재계에서 위상도 더 높아졌다. 1911년 경성 조선인상업회의소 회장에 취임하였고, 1912년 총독부 기관지 『매일신보』는 그를 조진태(趙鎭泰), 조병택(趙秉澤)과 함께 ‘조선 실업계의 3원로’로 칭했다. 1920년에는 조선 재계를 대표하는 조선실업구락부를 조직하고 부회장에 선입되었다. 1928년에는 한성은행(漢城銀行) 은행장으로 취임하여 1933년까지 재임하였다. 칙임관 대우 참의로 임명되어 1933년 사망할 때까지 직위를 유지하였다.
백완혁이 관직을 떠난 직접적인 이유는 불명확하지만, 1894년 갑오개혁에 의한 군부 관제 변화가 영향을 미친 것으로 보인다. 관직에 있었을 때의 인맥과 정보를 이용하여 자본가로 성공할 수 있다고 판단하여 피복 회사를 설립하고 기업인이 된 것으로 보인다. 결과적으로 그는 피복 회사 경영 등 기업 활동을 통해 부를 축적하였고, 조선 재계의 유력 인물로 부상하였다.