20세기 활동했던 대표적인 경기 창민요 명창 중 한 사람이다.
1925년 경기도 양주시 은현면 용암리에서 태어났고, 8살 되던 1932년 조선권번에 입번하여 소리를 배우기 시작했다. 일제시대 경기소리의 대가였던 주수봉으로부터 사사받았고, 1958년 전국국악경연대회에서 1등을 하며 국악계에 본격적으로 이름을 떨친다. 그리고 전성기 때 인기가 매우 높아 1962년까지 국악인으로는 가장 많은 100여장의 음반을 녹음했고, 1968년 제1회 세종국악대상 경서도창부에서도 1위를 했다. 1969년 묵계월, 이은주, 안비취와 함께 국가무형문화재(현, 국가무형유산) 경기민요 보유자 후보로 지정되었지만, 1975년 인간문화재 선정에서 후보자들 중 유일하게 탈락했다. 그 후로 음악적 활동 범위와 내용이 급속히 축소되었고, 1988년 1월 타계하였다.
김옥심의 대표작으로 꼽히는 「정선아리랑」은 강원도 향토민요 「정선아라리」를 서울식으로 편곡한 노래로, 지금도 ‘김옥심제 정선아리랑’이라 불리며 널리 창자들 사이에서 전승되고 있다. 현재 김옥심의 주요곡을 추려 낸 음반으로 「김옥심의 서울소리」가 출시되어 있다. 그는 “여흥음악 정도로 여겨졌던 경기소리를 고상한 감상용 음악으로 격상시킨 장본인”이라는 평가를 받기도 한다.