1905년 전라남도 장흥군 장흥읍 건사리 518번지에서 최창조와 임동례의 셋째 아들로 태어났다. 본명은 최옥삼(崔玉三)이라 한다. 남한에서는 김창조(金昌祖)에게 가야금을 사사한 것으로 보고 있으며, 북한에서는 18세까지 정운용에게 배운 것으로 보고 있다.
최옥산은 일제강점기의 다른 가야금 명인과는 달리 무대 공연이나 방송 출연 및 유성기음반 취입 등에 적극적이지 않았다. 공연 무대로는 1933년 조선일보 나주 지국에서 개최한 ‘시민위안(市民慰安) 납량석악(納凉昔樂)’에 장흥 최옥산(崔玉山)으로 참여한 바 있다. 1920년대에는 목포에서, 1930년대 이후는 원산과 함흥의 권번(券番)에서 제자들을 지도하였다. 해방 직후에는 평양 국립무용극장에서 활동했다.
본격적인 음악 활동은 해방 후 북한 최승희무용연구소 반주 악사로 참여하면서 시작되었다. 이 시기에 그는 가야금산조, 단소산조, 청성곡 등을 비롯하여, 이를 기반으로 한 수많은 민족 기악곡을 창작하였다. 가야금곡으로는 「안땅산조」, 「살풀이」, 「진양조」, 「중모리」, 「평조1, 우조2」, 「중중모리」, 「휘모리」, 「다스림」, 「엇모리」 등이 있고, 단소곡으로는 「다스름」, 「신아우」, 「진양조와 중모리」, 「안땅」, 「중모리」, 「리별곡」, 「초민곡」 등이 있다. 대금곡으로는 「은하수」, 「구룡폭포를 찾아서」, 「진양조」, 「봉황새」, 「중중모리」, 「다스름」 등이 있으며, 창작 무용곡으로는 「부채춤」, 「반야월성」, 「조선의 어머니」, 「사도성의 이야기」, 「밝은 하늘 아래」 등이 있다.
그의 활동 범위는 1949년부터 해외로 확장되었다. 1949년 7월 부다페스트에서 열린 세계청년축전, 11월 중국 베이징[北京]에서 열린 아세아여성대회에 참가하였다. 1950년부터는 조선예술단 단원으로 소련, 중국, 몽골 등을 차례로 방문하여 공연하였다. 1952년 이후 평양의 음악대학 민족음악학부 겸임교원으로 재직하였다. 1956년 척수염으로 투병하다 세상을 떠났다.
최옥산의 작품은 가야금, 단소, 대금 등의 전통 악곡을 기초로 하여 창작되었다. 그는 판소리나 단가 또는 민요 등을 토대로 하여 각 악기들의 특성과 기교를 적극 활용하였다. 특히 산조류의 음악은 장단을 독립된 악곡으로 해체하여 개별 악곡화한 것이 특징적이다. 국악관현악에 의한 무용곡 음악을 처음으로 작곡하였는데, 무용극의 심리적인 갈등을 극적인 방법으로 묘사하는 동시에 현대적인 정서를 풍만하게 살렸다는 평을 받았다.