본관은 김해(金海). 할아버지는 김효분(金孝芬)이고, 아버지는 증 호조판서 김진손(金震孫)이며, 어머니는 이종인(李種仁)의 딸이다. 대사헌 김영정(金永貞)의 형이다.
1454년(단종 2) 수의(修義)로서 별시 문과에 정과로 급제하였고, 1457년(세조 3) 대교(待敎)로서 문과 중시에 정과에 다시 급제하였다. 1455년 기사관 행예문관검열로 『문종실록(文宗實錄)』 편찬에 참여하였다.
세조 즉위시에 좌익원종공신(佐翼原從功臣) 2등에 책봉되었다. 1471년(성종 2) 전통례원상례(前通禮院相禮)로서 전라도에 파견되어 여러 읍의 실농(失農)을 살펴 흉년을 구제하고 도둑들의 유무와 농민들의 질병을 보살폈다.
같은 해 사간이 되었고 편수관이 되어 『세조실록(世祖實錄)』 편찬에 참여, 향표리 1습이 하사되었다. 1472∼1473년간 사간·시강관을 역임하고 이듬해 우부승지가 되어 여러 역사서들을 인쇄, 반포하라는 명을 받았다.
1475년 좌부승지가 되었는데 어머니의 병으로 사직할 뜻을 아뢰었으나 도리어 계급이 승진되어 이조참판에 임명되었다. 1478년 행첨지중추부사(行僉知中樞府事)가 되었고 이어 지중추부사로 전(箋)을 받들어 북경에 가서 천추절을 축하하고 왔다.