김영백(金永伯)은 1880년 전라남도 장성군 북이면(北二面) 달성리(達成里)에서 부친 김명기(金命基)와 어머니 탐진최씨(耽津崔氏) 사이에서 태어났다. 어머니는 최춘흠(崔春欽)의 딸이다. 본관은 안동(安東), 후에 김우(金佑)라고도 불렸다. 형 김준이(金俊伊)와 함께 의병을 일으켰으며, 농업에 종사하였던 것으로 보인다.
1907년 10월 정미칠조약(丁未七條約, 한일신협약)이 체결되고 군대마저 강제로 해산당하여 일제 침략이 노골화되어 가자 국권을 회복할 목적으로 고향인 장성에서 의병을 일으켰다. 1,000명의 동지를 모아 의진(義陣)을 조직하고 스스로 대장이 되었으며, 선봉(先鋒) · 중군(中軍) · 후군장(後軍長) · 좌우익장(左右翼長) · 군량관(軍糧官) 등으로 부대를 편성하였다.
200정의 총을 준비하였으며, 화약 · 식량 · 피복 등의 군수품과 군자금은 각 고을에서 징발하여 군비를 갖추었다. 장성을 중심으로 광주 · 고부 · 정읍 · 흥덕 · 고창 · 순창 등지를 중심으로 활동하였으며, 장흥 출신으로 당시 19세였던 고제남(高濟南)은 김영백 부대의 좌익장(左翼將)으로 활동하였다.
1908년 음력 3월 정읍 단곡리(丹谷里)에 주둔하고 있던 일본군 기병을 습격하였으며, 9월에는 덕흥군 방장산(方丈山) 산록 백계동(白溪洞)에서 일본군 기병 및 순사대(巡査隊)와 교전하여 10여 명을 사살하였다. 10월에는 장성군 북이면 신기리(新基里)에서 일본군 수비대 기병과 교전하였으며, 11월에는 북이면 오현(鰲縣)에서 일본 헌병과 교전하였다.
1909년 1월 말경 동군 북이면 상곡리(上谷里)에서 수비대 기병과 2월 중순에는 동군 북일면 동산리(東山里)에서, 2월 말에는 흥덕군 세곡리(細谷里)에서, 4월에는 덕흥군 일동면(一東面) 구수교(九水橋)와 고부군 강고리(江古里), 흥덕군 일남면(一南面) 유점리(鍮店里)에서 교전하였다.
1909년 2월 15일에는 강대영(姜大榮)에게 130여 명의 의병과 총기 70여 정 및 도검 다섯 자루를 주어 의진을 편성할 수 있게 돕기도 하였다. 그러나 김영백은 이와 같은 눈부신 활약에도 불구하고 신분상의 한계로 양반 중심의 다른 의진과는 광범위한 연합전선을 이루지는 못하였던 것으로 보인다.
일제의 전라도 지역에 대한 남한대토벌이 격화되고 의병진의 피해가 갈수록 커지자 같은 해 12월 의진이 적에게 노출되자 동지들을 보호하기 위해 하는 수 없이 일본군 헌병대 고부분견소(古阜分遣所)에 자수하였다. 1909년 12월 20일 광주지방재판소 전주지부에서 내란죄로 교수형을 선고받았으며, 공소를 제기하였지만 기각되어 형이 확정되어 1910년 대구감옥에서 순국하였다.
1982년 건국훈장 독립장이 추서되었다.