본관은 의성(義城). 자는 국필(國弼), 호는 사재(思齋)·은휴(恩休). 아버지는 예빈시참봉(禮賓寺參奉) 김연(金璉)이며, 어머니는 양천허씨(陽川許氏)로 군수 허지(許芝)의 딸이며, 김안국(金安國)의 동생이다. 김굉필(金宏弼)의 문인이다.
10세와 12세에 부모를 다 여의고, 이모부인 조유형(趙有亨)에게서 양육되었다. 1509년(중종 4)에 별시문과에 장원으로 급제하고, 1514년에 사가독서(賜暇讀書)하였으며, 이조정랑·사간·승지 등을 역임하고, 1518년 황해도관찰사가 되었다.
다음 해 기묘사화로 삭탈관직되어 고양(高陽)에 내려가 팔여거사(八餘居士)라 칭하고, 학문을 닦으며 저술과 후진교육에 전심, 많은 선비들이 문하에 모여들었다.
1537년에 복직, 다음 해 전라도관찰사가 되어 수십 조에 달하는 백성을 편하게 하는 정책을 건의, 국정에 반영하게 하였으며, 그 뒤 병조참의·공조참의를 역임하고, 경상도관찰사가 되어 선정을 베풀었다. 1540년 병으로 관직을 사퇴하였다가 뒤에 예조·병조·형조의 참판을 지냈다.
성리학과 역사·의학 등에 밝았다. 문인으로는 정지운(鄭之雲) 등이 있다. 좌찬성에 추증되었으며, 장단(長湍)의 임강서원(臨江書院), 용강(龍岡)의 오산서원(鰲山書院), 고양의 문봉서원(文峰書院) 등에 제향되었다.
저서로는 시문집인 『사재집(思齋集)』을 비롯하여,『성리대전절요(性理大全節要)』·『역대수수승통지도(歷代授受承統之圖)』·『촌가구급방(村家救急方)』·『기묘당적(己卯黨籍)』·『사재척언(思齋摭言)』·『경민편(警民篇)』 등이 있다. 시호는 문목(文穆)이다.