1911년 경기도 수원에서 출생한 김연실은 변사로 활동하는 오빠 김학근의 영향으로 영화에 관심을 갖게 되었다. 가정형편이 어려워 학교를 중퇴한 김연실은 1927년 나운규프로덕션의 1회 작품인 「잘 있거라」에서 시골소녀 역할을 맡으며 영화에 데뷔하였다. 같은 해 영화계 스타였던 신일선이 심훈의 「먼동이 틀 때」(1927)를 마지막으로 영화계를 은퇴하자 신일선을 대신해 그녀가 맡았던 배역들을 모두 김연실이 대신했다. 「세 동무(삼걸인)」(1928), 「바다와 싸우는 사람들」, 「승방비곡」(1930), 「임자 없는 나룻배」(1932), 「종로」(1933), 「청춘의 십자로」(1934) 등이 그녀의 대표작이다. 사회주의 사실주의의 촉매역할을 한 영화로 평가받는 「화륜」(김유영 감독)에도 출연하였다.
김연실은 배우로서의 활동뿐 만 아니라 노래 실력이 뛰어나 「아리랑」의 ‘신아리랑’, 「세 동무」, 「암로」, 「장한몽가」 등의 영화주제가를 부르고 대중가요의 레코드를 취입하기도 했다.
해방 후 경향신문 사회부 기자로 활동하며 좌익 활동에 참여한 남편 김혜일의 영향으로 함께 월북하였다. 월북 후 김혜일은 조선예술영화촬영소 미술가로 활동하고 김연실은 조선예술영화촬영소 배우로 소속되어 연극 및 영화에 출연하였다. 김연실이 북한에서 출연한 작품은 「정찰병」(1953), 「처녀 리발사」(1970), 「아름다운 거리」(1970), 북한의 코미디영화의 대표작인 「잔칫날 (도시편)」(1974) 그리고 납북된 신상옥 감독이 연출한 작품 「탈출기」(1984)와 한국의 텔레비전에서 방영한 바 있는 「림꺽정」(1987~1989)이다.
1977년 인민배우의 반열에 올랐고, 「탈출기」(1984), 「림꺽정」등에서 노년의 모습을 확인할 수 있다. 1997년 8월 사망하였는데, 한국에서 영화촬영기사로 활동한 김학성이 김연실의 친동생이다.
1977년 인민배우 칭호를 수여받았으며 국기훈장 1급을 받았다.