1906년 12월 20일 경기도 수원 남양에서 경주 김씨 가문의 5남 2녀 중 막내로 출생했다. 염전을 운영하던 부친이 재산을 정리해 그가 어렸을 적 서울로 이주했다. 이후 일본에서 데이코쿠키네마(帝国キネマ)와 신코키네마(新興キネマ)에서 오랜 연기 경력을 쌓은 김일해는 1935년 방한준 감독의 「살수차」로 조선영화계에 데뷔했다. 조연으로 출연한 「살수차」에서 당시 조선에서는 처음 보는 특이한 분장과 화장으로 성격파 연기를 선보이며 ‘사색의 배우’로 불리기도 했다. 무성 영화에서와 같은 과장된 연기가 필요 없는 발성 영화에 좀 더 적합한 섬세하고 미묘한 연기를 한다고 평가받았다. 같은 해 박기채 감독의 「춘풍」(1935), 나운규 감독의 유작 「오몽녀」(1937)에서도 열연했다. 함대훈의 장편소설을 영화화한 신경균감독의 데뷔작 「순정해협」(1937)에 출연하여 전성기를 맞았다. 이때 맡은 역할은 주로 모던한 신사역이나 스포츠맨 등의 배역이었고, 이지적이고 열정이 넘치는 표정과 연기로 좋은 평가를 받았다. 1940년 이후 해방 전까지 최인규 감독의 「수업료」(1940), 「집없는 천사」(1941), 안석영 감독의 「지원병」(1941), 이병일 감독의 「반도의 봄」(1941), 방한준 감독의 「거경전」(1944), 신경균 감독의 「우리들의 전쟁」(1945) 등의 영화에도 출연했다. 한국전쟁 시기에는 공군이 제작한 홍성기 감독의 「출격명령」(1954)에 출연하였고, 이후에는 단역·조연을 맡았다. 1958년 자신의 영화생활 30년을 기념하는 시대극 「인걸 홍길동」을 기획, 감독했다. 1959년 이후로 20년이 넘는 오랜 공백기를 거쳐 1984년 78세의 나이에 이두용의 「장남」에 아버지역으로 출연하여 한국 영화 최고령 주연 배우 기록을 갖게 되었다. 2004년 7월 11일 향년 98세의 나이로 사망했다.
1984년 「장남」으로 청룡영화상 특별공로상을 받고, 백상예술대상 영화특별상(1985), 한국연극영화예술상 특별상(1985) 등을 수상했다.