본관은 평안남도 평원이다. 평생 군과 인민보안성을 오가며 총과 함께 살아온 ‘우직한 군인’의 표상으로 알려져 있다. 그는 일제 식민통치시기였던 1930년대 10대의 어린 나이로 김일성의 항일빨치산부대에 들어가 김일성 곁에서 전령병으로 활동한 ‘혁명 1세대’이다. 또한 북한 정권 수립 후에 사망당시 까지 북한의 정치, 외교 면에서 두각을 나타낸 인물이다.
1918년 중국 남만주에서 태어났다. 1936년 동북항일연군에 들어가 빨치산으로 항일운동에 참가하였고, 1937년 보천보 전투에 참전하였다. 8·15광복 후 1948년부터 김일성을 호위하는 중앙호위대원으로 있으면서 마르크스·레닌주의학원과 중앙당 정치학교를 수료하였다.
한국전쟁 발발과 함께 1950년 6월 인민군 제47연대장, 1951년 4월 인민군 제8사단 81연대장, 1958년 5월 인민군 소장·인민군 제3사단장, 1960년 5월 군사정전위 위원으로 등용되었다.
1961년 10월 내각 사무국 호위처 처장, 1962년 5월 인민군 중장, 민족보위성 정치안전국 국장, 1967년 8월 사회안전 경비국 국장, 11월 최고인민회의 제4기 대의원, 그리고 12월 최고인민회의 법제위 위원으로 선출되었다.
1972년 12월 최고인민회의 제5기 대의원, 1973년 사회안전부 부부장·인민경비대 사령관, 1977년 11월 최고인민회의 제6기 대의원, 1978년 8월 인민무력부 부부장으로 자리를 옮겼다.
백학림은 1982년 2월 최고인민회의 제7기 대의원, 1985년 4월 인민군 대장, 10월 사회안전부 부장으로 임명되었다. 1986년 11월 최고인민회의 제8기 대의원, 12월 최고인민회의 법안심의원 위원으로 선임되었다. 또한 1990년 4월 최고인민회의 제8기 대의원, 1994년 김일성 국가장의위원회 위원, 1998년 9월 최고인민회의 제10기 대의원, 국방위원회 위원, 최고인민회의 법제위원회 위원장, 2003년 9월 최고인민회의 제11기 대의원으로 선출되었다.
그는 2006년 10월 5일 오후 2시 뇌출혈로 87세를 일기로 사망했다.
백학림은 1980년 5월 인민군 친선참관단장으로 중국을 방문하였고, 1981년에 군사대표단을 이끌고 르완다·탄자니아 등 아프리카를 순방하였으며, 1982년 6월 평양에서 중국공산당 군사대표단과 회담하였다.
1984년부터 5차례 계속된 남북경제회담에 북측대표단장으로 참석, 한국에도 얼굴이 알려지기 시작했다. 그는 1990년 5월 사회안전부 대표단장으로 중국을 방문하였고, 2001년 9월 방북 러시아 국립아카데미 내무성 협주단장과 면담하였다.
김일성훈장, 공화국영웅 칭호, 인민군 차수, 2중 영웅, 노력영웅, 국가훈장 1급, 인민보안상, 러시아 조국전쟁승리 60돌 기념메달 등을 받았다.