본관은 김해(金海). 호는 금암(錦巖). 전라남도 영암 출생. 김창조(金昌祖)로부터 가야금산조를 전수받았다.
1937년부터 1939년까지 조선창극단원, 1940년부터 1941년까지 임방울창극단의 일원으로 활약하였으며, 부산 봉래권번(鳳來券番)의 교사, 임춘앵국극단의 악사로 있었다.
1959년부터 인천여자고등학교에서 전통음악 강사로 재직하다가 1968년 8월 죽을 때까지 서울대학교 음악대학과 국립국악원에서 연주원 및 가야금 강사로 재직하면서 많은 연주활동과 제자를 길러냈다.
민족항일기 때 취입한 것으로 김창조의 가야금산조에 자기나름대로 가락을 짜넣은 「김병호류 가야금산조」가 전해지고 있다.