함경남도 서호진에서 출생하였으며, 일본제국음악학교(日本帝國音樂學校) 수학 후 만주에서 윤용하 등과 함께 창작활동을 하였다. 주로 민족적인 서사시와 민속가극 등에서 착상하였다. 광복 후 귀국하여 함흥 영생중학교 등에서 교편을 잡다가 6·25 때 월남하였다.
1951년 피난시절 민속설화에 기초를 둔 가극 「콩쥐 팥쥐」를 부산·대구 등지에서 공연하여 민족가극 창작의 기선을 잡았다. 이어서 오페레타 「사랑의 신곡(神曲)」(1951), 교향시곡 「광복 10년」(1955), 칸타타 「그로리아」(1961)·「8월의 태양」(1963)·「새해여 솟아라」(1964)·「성웅 이순신」(1969) 등 합창과 관현악을 중심으로 한 큰 작품을 남겼다.
1974년에는 관현악 조곡 「개선가」를 발표하였다. 작품은 서정적인 경향을 중시하였고, 조성에 기반을 두었다. 특히, 「고향의 노래」 등 40여 편의 영화음악을 작곡하여 영화음악에도 많은 기여를 하였다. 만년에는 기독교에 귀의하여 성가곡 등을 작곡하였다.
그의 작품 가운데 「자장가」·「들국화」가 가장 많이 불린다. 악단활동에도 헌신하여 한국음악협회 부회장 등을 지냈고, 서라벌예술대학 음악과 교수가 되어 그 뒤 합병된 중앙대학교에서 정년퇴임하였다. 특히, 친구인 작곡가 윤용하의 가곡집을 출판, 그를 평가 받게 한 장본인이다. 저서로는 『김대현작곡집』이 있다.