서울에서 출생하였고, 본명은 김형표(金亨杓)이다. 이채옥 현대무용연구소, 길목 무용연구소, 장추화 무용연구소에서 수학하였다. 1955년 동양극장에서의 첫 공연을 시작으로 총 11회의 개인발표회를 가졌다. 대규모 무용극보다는 무용시 형태의 소품(작은 작품)을 주로 발표하였고, 1959년 시공관에서 있었던 개인발표회에서는 「깨어진 청자기」, 「초혼」, 「무너진 성터에서」, 「장단연시」 등과 같은 소품을 선보였다.
1962년 창단된 국립무용단의 초대 단원이 되었고, 1973년부터는 지도 위원으로서 「배신」(1965), 「향토의 선율」(1966), 「봉선화」(1969), 「가무보살」(1973), 「운명」(1973), 「밤바다에서」(1975)를 공연하였다. 대표작으로 뽑히는 「산조(散調)」(1957)는 가야금의 차분한 선율에 맞춰 마음의 흐름을 정리한 춤이다.
후학들을 양성하여 한국무용계의 발전에 이바지하고자 1959년 김진걸 무용연구소를 개설하였다. 1961년 설립된 한국무용협회의 초대 이사로 활동하다가 이후 부이사장, 이사장, 고문을 두루 맡았다. 1974년부터 1992년까지는 한성대학교 교수로도 재직하였다. 저서로는 자신의 산조 무보를 총 정리한 『김진걸 산조춤 무보』(은하출판사, 1989)가 있다. 2008년 향년 83세에 노환으로 별세하였으며, 한국무용에 기반을 둔 신무용 2세대로 평가받고 있다.
1986년 한국무용협회의 제7회 무용대상을 수상하였고, 1992년 「산조」가 한국무용협회에 의해 명작무로 지정되었다. 그 외에도 1998년 김진걸 춤산조 보존회가 설립되었다.