본관은 경주(慶州). 김균(金稇)의 증손으로, 할아버지는 김계성(金季誠)이고, 아버지는 한성부판윤 김종순(金從舜)이며, 어머니는 홍연산(洪燕山)의 딸이다.
음보(蔭補)로 판관이 되어 1466년(세조 12) 강원도 고성 별시 문과에 삼등으로 급제하였다. 그 뒤 장악원정(掌樂院正)을 거쳐 봉상시정이 되었다.
그 뒤 1480년(성종 11) 양사(兩司: 사헌부와 사간원)는 김치운의 처가 하구(河玖: 河崙의 아들)의 첩 소생으로 세종 때 첨지중추부사를 지낸 하복생(河復生)의 딸임을 들어 파직시킬 것을 주장하였으나, 장인이 요직을 역임하였으므로 이는 부당하다는 승정원 · 홍문관의 비호로 사위 권경희(權景禧)와 함께 무사하였다.