본관은 경주(慶州). 자는 공석(公碩). 호는 십청헌(十淸軒) 또는 지비옹(知非翁). 아버지는 첨정 김훈(金薰)이며, 어머니는 진천송씨(鎭川宋氏)로 송학(宋翯)의 딸이다.
1495년(연산군 1) 사마시에 합격하고 같은 해 식년문과에 병과로 급제했다. 홍문관의 정자·박사를 거쳐 수찬이 되고, 이어서 사헌부지평에 올랐다. 1504년 갑자사화에 연루되어 거제도에 유배되었다. 1506년(중종 1) 중종반정으로 풀려나서 홍문관응교로 기용된 뒤에 사가독서의 은전을 입었다.
뒤에 전한·형조참판·부제학을 지내고 외직으로 광주목사(廣州牧使)·전라도관찰사 등을 역임하였다. 이어 대사헌·이조참판을 지내고, 1519년 사은사로 명나라에 다녀왔다. 그 해 겨울 기묘사화가 일어나서 조광조(趙光祖)를 사사(賜死: 극형에 처할 죄인을 왕명으로 독약을 마셔서 죽게 하는 일)하자, 임금의 처사가 부당하다고 규탄하다가 유춘역(留春驛)으로 장배(杖配: 곤장을 치고 유배를 보내는 일)되었다.
1522년 풀려났으나 다시는 벼슬에 나가지 않고 고향으로 내려가서 십청헌을 짓고 후진을 교육하였다. 그 뒤 공로를 인정하여 이조판서에 추증하고 충주의 팔봉서원(八峰書院)에 향사되었다. 시호는 문간(文簡)이다. 저서로는 『십청헌집(十淸軒集)』 4권이 있다.