1904년 평양에서 출생했다. 1922년 숭실전문학교를 중퇴하고 도쿄 도요[東洋]음악학교에 입학하여 바이올린을 전공 중, 1923년 독일로 유학을 갔다. 1924년 가을 독일 뷔르츠부르크에 있는 바이에른 주립음악원(Bayerishes Staatskonservatorium der Musik)에서 바이올린을 전공, 1929년 졸업했다. 이후 뷔르츠부르크 대학교(Universität Würzburger) 철학부와 스위스 바젤대학교(Universität Basel)에서 수학하면서, 1934년 바젤 대학교에서 조선의 궁정음악과 민요에 관한 논문으로 박사학위(Ph.D.)를 취득하고 1935년 3월에 귀국했다.
귀국 이후 1935년부터 이화여자전문학교 교수로 재직했고, 1943년 4월부터는 음악과 과장을 맡았다. 1937년 '보정(保定) 함락 축하 황군감사 대음악회'에 관현악단 단원으로 출연했다. 같은해 10월에는 경성·경기도군사후원연맹 후원 '음악보국대연주회'에서 바이올린을 연주했다. 1941년 조선총독부 학무국에 사무실을 두고 결성된 조선음악협회의 이사에 선출되었다. 같은해 11월 조선임전보국단(朝鮮臨戰報國團) 결성시에 발기인으로 참여했다. 1943년 6월에는 앗쓰섬[アッツ島·Attu Island]에서 전멸한 일본군을 추도하는 「앗쓰도의 영령에게 바치는 선율」을 작곡·발표했다. 1944년 방한준(方漢駿)이 연출한 조선군보도부의 선전영화 「헤이타이상(兵隊さん) 」에 특별출연하기도 했다. 이외에도 『매일신보』, 『조광』 등에 음악을 통해 일제의 식민지배와 침략전쟁을 옹호·동조하는 내용의 글을 게재했다.
해방 이후 1945년 10월 고려교향악단(현 서울시립교향악단)에서 초대 지휘를 맡아 1955년까지 지휘자로 활동하는 한편 1946년 2월 경성음악연구원이 경성음악학교(교장 현제명)로 개칭되면서 교수로 재직하였다. 같은해 3월에는 전조선문필가협회 추천회원으로 참여했고, 대한연주가 협회 위원장에 선출되었다. 1956년 '계정식 음악학원'을 설립하고 학생들을 지도했다. 1961년 미국으로 이주, 부르클린 음악학교(Brooklyn Conservatory of Music) 등에서 교수 활동을 하였다. 1974년 10월 3일 뉴욕(New York) 앰허스트(Amherst)에서 사망했다.
계정식의 이상과 같은 활동은 「일제강점하 반민족행위 진상규명에 관한 특별법」 제2조 제13·17호에 해당하는 친일반민족행위로 규정되어 『친일반민족행위진상규명 보고서』 Ⅳ-1: 친일반민족행위자 결정이유서(pp.247∼271)에 관련 행적이 상세하게 채록되었다.