본관은 능성(綾城). 할아버지는 목사 구양(具揚)이고, 아버지는 목사 구치명(具致明)이다. 작은아버지가 영의정 구치관(具致寬)이다.
1467년(세조 13) 이시애(李施愛)의 난이 일어나자 도총사 이준(李浚)의 군관으로 토벌에 나가 군공을 세워 적개공신(敵愾功臣) 2등에 책록, 능산군(綾山君)에 봉해지고 첨지중추부사에 올랐다.
이어서 의흥위대호군 겸 오위장, 이듬해 행호군(行護軍)이 되고 1469년(예종 1) 건주야인(建州野人) 정벌 때 서정원수(西征元帥)가 된 작은아버지 구치관의 청에 따라 호분장(虎賁將)으로 출전하였다.
그뒤 오위장·행사직(行司直) 등을 거쳐, 1475년(성종 6) 경상우도병마절도사를 역임하였다. 1483년 사은사(謝恩使)의 부사(副使)로 명나라에 다녀왔고, 1492년에는 의주목사를 역임하였다. 무신으로서 특히 성종의 총애를 받았다.