1500년(연산군 6)에 태어났으며,자는 경진(景眞), 호는 이진자(頤眞子), 본관은 청풍(淸風)이다. 기묘사화 이후 부친의 망명으로 추국령이 내려지자, 동생 김덕순과 함께 행적을 감추고지내다가, 1538년(중종 33) 신원(伸寃)된 뒤 집으로 돌아와 후진 양성에 힘썼다. 윤근수(尹根壽, 1537∼1616) 등 많은 명사들이 그의 문하에서 배출되었다.
20세 때인 1519년(중종 14) 11월 기묘사화가 일어나 조광조를 비롯해 부친 김식(金湜, 1482∼1520) 등이 실각했는데, 그로부터 한 달 뒤 조광조는 사사(賜死)되고 부친 김식도 추죄(追罪)되어 선산에서 거제로 배소를 옮기게 되었다. 이때 김식은 남곤(沈貞, 1471∼1531)과 심정(沈貞, 1471∼1531) 등을 제거하면 중종의 마음을 되돌릴 수 있을 것이라 생각하고, 배소(配所)에서 탈출하는 망명(亡命)을 감행하였다.
『기묘록보유』에 따르면, 김식의 식솔들에 대한 추포령이 내려져 관군이 그의 집에 들이닥쳤으나, 그는 여자 옷으로 변복하여 체포를 면할 수 있었다고 한다. 부친 김식은 망명 후 관군의 추격을 피해 근 4개월동안 도망을 다녔으나, 일행 중 이신(李信)의 배신으로 그를 도왔던 조력자들이 체포되는 가운데, 지리산으로 향하던 김식은 결국 거창의 산중에서 목을 매어 자결하였다.
부친이 사망한 후에도 그는 관군의 추격으로부터 벗어나 도피 생활을 계속하였다. 조정에서는 그가 무재(武才)가 있다하여 후에 있을지도 모르는 변고에 대비코자 거듭해서 추포령을 내렸지만, 끝내 체포하지 못하였다. 동생 김덕순 역시 체포되지 않았다.
기묘사화 이후의 정국은 경빈 박씨 사건을 계기로 심정이 사사되고, 심정을 이어 권신으로 조정의 실권을 장악했던 김안로(金安老, 1481∼1537)마저 패퇴하면서 기묘인들에 대한 신원(伸寃)이 이루어졌다. 그도 이 무렵인 1538년(중종 33)에 사면(赦免)되었으며, 이후에는 조정에 진출할 생각을 접은 채 후진 양성에 힘을 기울였다. 그의 문하에서 수학한 명사들이 많은데, 윤근수도 그 중 한 사람이었다.
사면된 뒤에는 20여 년을 학문과 제자 양성에 힘쓰다가, 1552년(명종 7) 향년 53세의 일기로 생을 마쳤다. 효종대 재상을 지내며 대동법 시행에 힘썼던 김육(金堉, 1580∼1658)은 그의 증손이다.
부친의 망명으로 도피 생활을 한 것과 사면 후 제자들을 양성한 일은 그의 행적 가운데 특기할 만한 일이다. 특히 그의 후진 양성은 명성이 높았다. 후손인 김좌명(金佐明, 1616∼1671)은 『국조인물고』에서 문인 윤근수의 전언을 소개하고 있다. 윤근수는 “내가 어렸을 때 이진 선생(頤眞先生)께 글을 배웠는데, 지금에 와서 다소 소견이 있게 된 것도 사실 공에게서 얻어진 것이다. 생각해보면, 공의 형제는 옛날에 이른바 ‘인심(仁心)으로 바탕을 하여 실제가 그 명성보다 낫다.’는 그런 경우가 아니겠는가?”라고 평하였다고 한다. 부친 김식이 도학에 있어서 조광조와 쌍벽을 이룰 만큼 명성이 높았는데, 그 역시 부친으로부터 도학에 대한 수준 높은 소양을 쌓았던 것으로 추정된다.
증손 김육(金堉)의 귀현(貴顯)으로 증직되어 ‘자헌대부 이조판서 겸 지의금부사 오위도총부 도총판(資憲大夫吏曹判書兼知義禁府事五衛都摠府都摠管)’에 추숭되었다.