본관은 연안(延安). 자는 산룡(山龍). 형조판서 김자지(金自知)의 증손으로, 할아버지는 김유(金攸)이고, 아버지는 김순신(金舜臣)이며, 어머니는 허추(許樞)의 딸이다.
1477년(성종 8)에 능참봉에 제수되었다. 1482년 친시 문과에 병과로 급제하였다.
1488년 헌납(獻納), 정언(正言)이 되고, 이어 이조좌랑이 되었다. 1492년 장령(掌令), 1498년(연산군 4) 홍문관전한(弘文館典翰) 등 요직을 거치는 한편, 『성종실록(成宗實錄)』 편찬에 참여하였다. 1500년 승정원좌부승지를 거쳐, 1502년 형조참판·예조참판 등을 지냈다.
1504년 경상도절도사로 나갔을 때, 연산군의 어머니 윤씨복위문제(尹氏復位問題)를 둘러싸고 갑자사화가 일어나자 파직되었다. 1506년 중종반정 후 다시 기용되어 지중추부사·평안도관찰사·대사헌 등을 역임하였고, 1510년(중종 5)에 다시 예조참판이 되었다. 시호는 공간(恭簡)이다.