본관은 안동(安東). 자는 영지(英之), 호는 삼당(三塘). 할아버지는 김계권(金係權)이고, 아버지는 장령 김영수(金英銖)이며, 어머니는 김박(金博)의 딸이다.
1506년(연산군 12) 별시 문과에 정과로 급제하여 예문관검열로서 사가독서(賜暇讀書)하였고, 이듬해에는 대교(待敎)에 올라 김흠조(金欽祖)·정충량(鄭忠樑) 등과 더불어 사신의 정도를 내세우며 사초문제(史草問題)로 빚어졌던 무오사화로 해를 입은 자들의 억울한 죄를 회복시켜 줄 것을 상소하였다.
그 뒤 수찬(修撰)·정언(正言)·교리(校理)·장령(掌令) 등 청요직을 지냈으며, 1518년 (중종 13)에는 경상도재상경차관(慶尙道災傷敬差官)이 되었다가 곧 김제군수로 외직에 나갔다.
1522년에는 다시 장령이 되었으며, 이어 동부승지를 거쳐 1527년에는 강원도관찰사에 보임되었으나 대간의 탄핵으로 곧 개체되었다. 조광조 등 중종 때의 사림파와 언로문제를 둘러싸고 논란을 벌이는 등 정치적 성격을 달리한 인물이었다. 문집으로 『삼당집(三塘集)』이 있다.