근대 서화가인 해강 김규진의 아들로 태어나 어려서부터 서화를 배웠고, 6세 때 서화연구회 주최 서화대전람회에 출품하기도 했다. 1932년 경성제일고등보통학교를 졸업하고 중국으로 유학을 떠났다. 1932년 중국 베이핑 우씨영문학교(于氏英文學校)에서 영어를 배웠고 중국 베이징의 푸린대학〔輔仁大學〕에 입학하였다. 이 무렵 중국 근대서화의 대가인 제백석(齊白石)을 사사하였다.
1934년 일본미술전람회에 「석죽」으로 입선한 이후 주로 문인화와 서예를 중심으로 작품활동을 했다. 일본문인화전, 흥아서도회전, 일본 문인서화전람회 등에 출품하여 입상하였고 조선미술전람회에도 입선하였다.
해방 이후부터 해외미술과 동양화에 대한 글을 열정적으로 발표하였으며, 저술에도 힘써 『조선미술사』(1948)와 『동양미술사』(1971), 『동양미술론』(1980) 등을 출간했다. 단구미술원(1945), 백양회(1957) 결성에 참여하였는데 특히 백양회 제2대 회장으로서 대만과 홍콩, 일본에서 전시회를 개최하여 한국미술의 해외교류에 기여를 했다.
1950년대부터 ‘동양화’ 대신 한국화 용어를 사용할 것을 주장하며 한국화의 정의에 대한 글을 다수 발표하였고 ‘한국화전’이란 명칭 아래 개인전을 개최하기도 했다. 또 현대문인화 운동을 주창하면서 서예를 바탕으로 하는 ‘자화미술(字化美術)’을 제작하였다.
국내와 미국, 일본을 비롯한 해외에서 모두 20여 회 개인전을 열었다. 홍익대학교, 이화여자대학교, 서라벌예술대학, 수도여자사범대학, 성균관대학교에서 후진양성에도 힘썼다. 그밖에 한국미술평론인 협회 창설에 참여하여 회원으로 활동하였고, 한국전각협회의 초대회장을 역임하기도 했다.
김영기의 초기 작품들은 제백석의 영향을 받아 강한 먹과 활달한 필치로 그린 화조화와 부친 해강 김규진의 영향을 보여주는 사군자들이 많았다. 한국전쟁 때 경주에 피난하여 3년간 경주고등학교에 근무하면서 경주의 풍경을 많이 그렸고, 이 때의 경주 스케치를 바탕으로 서양 현대미술을 수용한 실험적인 작품들을 다수 제작하였다.
특히 1960년대 ‘자화미술’은 앵포르멜 미술의 영향을 보이며 추상화에 가까운 양식을 보여주었다. 1980년대 들어서면서 군청색을 주로 사용한 ‘군청산수’로 새로운 변화를 시도하였다.
1994년 정도 600년 기념 자랑스런 서울시민상
1997년 은관문화훈장