본관은 풍산(豊山). 자는 공직(公直), 호는 잠암(潛庵) 또는 유경당(幽敬堂). 서울 출신. 김종석(金從石)의 증손으로, 할아버지는 군수 김휘산(金徽山)이고, 아버지는 공조참판 김양진(金楊震)이며, 어머니는 양천허씨(陽川許氏)로 허서(許瑞)의 딸이다.
재기가 뛰어나 8세에 글을 지었으며, 약관에 이미 문장이 성취되었다. 1516년(중종 11) 사마시에 합격하였고, 1526년(중종 21) 별시 문과에 병과로 급제하여 홍문관정자(弘文館正字)에 임명되고, 이어 수찬(修撰)·정언(正言)·세자시강원사서(世子侍講院司書)에 이르렀다.
왕의 두터운 총애를 받자 김안로(金安老)에게 미움을 받아 파직되어 향리로 돌아갔다. 1537년(중종 32)김안로가 처형되자 다시 공조좌랑에 임명되고, 이어 훈련원부정(訓鍊院副正)·종부시첨정(宗簿寺僉正)을 역임하였다.
뒤에 이조판서로 추증되었고, 정간(靖簡)의 시호를 받았다가 문정(文靖)으로 고쳐졌다. 저서로는 『잠암일고(潛庵逸稿)』 5권이 있다.