황해도 봉산 출생. 아버지는 선경(善慶)이고, 어머니는 정국화(鄭國華)이며, 3남2녀 중 장남으로 태어났다.
황해도 사리원(沙里院) 송화인민학교, 송화고등중학교 2학년을 마치고 6·25전쟁 때 남쪽으로 피난하여 부산 토성국민학교 5학년에 편입하면서 야구를 시작하였다.
경복중학교를 거쳐 경복고등학교를 졸업하였으며, 1964년에 성균관대학교(영문학전공)를 졸업하였다. 그 뒤 한국전력과 조흥은행에서 야구선수생활을 하다가 1968년 조흥은행 야구부의 해체로 현역 선수생활에서 은퇴하고, 대한체육회 야구코치 아카데미 13주 과정을 수료하고 대한야구협회 심판원이 되었다.
1971년 11월에는 건국대학교 야구팀 창단감독으로 취임하여 감독으로서 첫발을 내디뎠다. 그 뒤 주로 창단팀 감독을 맡아 특유의 스파르타식 훈련으로 번번이 우승을 일구어낸 호랑이감독으로 불리었다. 1972년에 대학야구춘계연맹전에서 우승하였으며, 1973년 3월에는 건국대학교 야구부감독을 사임하였다.
그 뒤 1974년 11월 공군야구창단 감독에 부임하여 제2회 부산시장기쟁탈전국야구초청대회에서 우승을 차지하였다. 이어 1975년 6월에는 아마추어롯데야구 창단감독에 취임하여 실업야구대회에서 연속 3회를 우승하였다. 1976년 12월에는 콜롬비아세계야구선수권대회 국가대표 코치를 지냈으며, 1977년 4월에는 아마추어롯데야구감독을 사임하였다.
1978년에는 성균관대학교에서 야구부감독을 지냈으며, 1978년 7월에는 한양대학교 야구감독에 취임하여 대학원까지 장학금 및 과장급 보직을 보장받기도 하였으며, 그 해 9월에는 제33회 대학야구선수권대회에서 우승하였다. 1979년 1월에는 한양대학교 체육학과 3학년에 편입학하였다.
그리고 TBC·KBS에서 야구해설을 담당하였다. 1981년에는 MBC라디오에서 ‘홈런출발과 김동엽과 함께를 진행함’을 진행하였으며, MBC-TV에서는 ‘김동엽과 함께’를 진행하였다. 같은 해 5월에는 춘계대학연맹전을 끝으로 한양대학교 야구부감독을 사임하였다.
프로야구리그가 출범하자 1982년 1월에는 프로야구 해태타이거즈 창단감독에 취임하였으며, 1983년에는 6월에는 MBC청룡 감독에 취임, 해임되었다가 다시 감독에 발탁되어 활동하다가 1986년 재계약에서 당시 7개 야구구단 감독 중 최고 연봉인 3000만 원을 받았다.
1988년 KBS라디오에서 ‘김동엽의 스포츠쇼’를 진행하였으며, 1991년에는 서울방송(SBS) 전속야구해설위원으로 활동하였다. 저서로는 ≪그래, 짤라라 짤라≫가 있다.