서울에서 태어나 어린 시절 홍난파에게 바이올린을 배운 뒤, 1938년 독일 베를린음악대학 바이올린과를 졸업하였다.
1938년 부민관에서 제1회 독주회를 개최하였으며, 1939년에 만주 신경음악원의 독주자 겸 악장을 역임하였고, 1941년 피아니스트인 부인 이애내(李愛內)와 함께 연악원(硏樂院)을 설립하였다.
1946년 고려음악협회연주부장, 1948년 고려교향악단지휘자, 1950년 대한교향악단상임지휘자, 1951년 국방부정훈음악부장·한국교향악단창립단장 겸 지휘자, 문화예술총연합회중앙위원을 지냈다.
1955년 한국연주가협회위원장, 1956년 한국음악가협회최고위원, 1961년 한국음악가협회고문을 역임하였다. 1961년에는 한국현악합주단을 조직하였고, 1965년 KBS교향악단 객원지휘자, 5·16민족상 심사위원을 지냈다.
그밖에 한국과 일본, 만주를 무대로 350여회의 독주회를 가졌고, 안병소 현악4중주단을 조직하였으며, 「국토통일의 노래」등을 작곡하였다. 바이올린 음악의 선구자로 서양음악 보급에 앞장섰고, 많은 제자들을 길러냈다.
현재 국내에서 활동하는 원로·중견 바이올린 연주가들의 대부분이 연악원 출신이거나 안병소의 제자들이다.