예명은 조자룡(趙子龍), 김령파등. 함경남도 원산 출생. 인기 대중가요가수인 김정구(金貞九)의 형이며, 김안라(金安羅)의 오빠이다.
기독교 가정에서 성장해 어려서부터 교회음악에 심취하였고, 노래 잘 부르는 소년으로 동극(童劇)에서 솜씨를 발휘해 당시 어린이들의 부러움을 샀다고 한다. 뿐만 아니라 건장한 체구로 운동에도 소질이 있어, 역사(力士)의 칭호를 받을 정도였다.
1930년 무렵 원산 지역 극단에 입단하여 배우 겸 무대가수로 활약하였다. 그 뒤 「숨쉬는 부두」·「낙동강」을 불러 인기가수로 성장하였다. 노래를 부르는 한편, 신민요풍의 노래를 많이 작곡하여, 본인이 부르거나 다른 가수들이 부르게 하여 발표하였다.
1943년 나운규(羅雲奎)의 극영화「아리랑」을 악극으로 꾸며 주연으로 활약하였고, 합창과 이중창 등 23곡의 극 중 노래를 작곡하여, 특징 있는 무대극으로 호평을 받았다. 앞서 악극 「심청전」에서는 심봉사의 명연기로 관객을 사로잡았고, 아세아가요단을 직접 운영하며 「심청전」으로 전국 순회공연을 가졌다.
1944년 태평양예능대를 조직하여 만주지방까지 활동무대를 넓혔고, 무대에 다양한 변화를 주기 위해 연쇄극을 도입하였으며, 한때 영화제작에 참여하기도 하였다. 광복 직후 해방가요 제1호「인민의 노래(일명 사대문을 열어라)」를 작곡하여, 건국준비위원회를 통하여 방송하였다.
1934년 이후의 대표작으로는「석양산로」·「눈깔 먼 노다지」·「장기타령」·「정어리타령」·「흥야라타령」·「심봉사의 탄식」·「꼴망태 목동」·「가거라 초립동」 등이 있다.