본관은 경주(慶州). 자는 현보(賢甫). 계림군(鷄林君) 김균(金稛)의 증손으로, 할아버지는 김중성(金仲誠)이고, 아버지는 지중추원사(知中樞院事) 김신민(金新民)이며, 어머니는 홍수명(洪守命)의 딸이다.
1453년(단종 1) 생원시에 합격하고, 1456년(세조 2) 사용(司勇)으로 식년 문과에 정과로 급제하여 벼슬이 예조참판·대사헌에 이르렀다. 벼슬길에 오르기 전부터 이미 자질과 명성이 세상에 알려졌고, 또한 효성이 지극한 것으로 유명하였다.
승정원에 재직할 때 직무에 충실하고 행정능력이 뛰어나 왕에게서 금띠[金帶]를 내려받기도 하였으며, 특히 송사 처결에 있어서 뛰어난 재능을 보였다. 그러나 1504년(연산군 10) 갑자사화 때 연좌되어 부관참시(剖棺斬屍)의 추형(追刑)을 당하였다.