본관은 능성(綾城). 자는 이율(而栗)·경률(景栗). 증조는 보문각대제학 구위(具褘)[구치관 碑銘에는 具禕]이고, 할아버지는 개성부윤 구성로(具成老)이며, 아버지는 목사 구양(具揚)이다.
1434년(세종 16) 알성 문과에 을과로 급제하여 승문원정자에 임명, 예문관검열·승정원주서·감찰·황해도도사를 거쳐서 병조정랑·검상·사복시윤을 역임하였다. 1453년(단종 1) 계유정난 직후 수양대군의 명으로 함길도에 파견되어 경성부사 이경유(李耕㽥)를 참살하고 보공대호군(保功大護軍)에 승진되었다.
1455년(세조 1) 세조가 즉위하자 우승지에 제수되었고, 이어서 좌익공신 3등에 책록되고 좌승지에 제수되었다. 이후 이조참판으로 승진되고 능성군(綾城君)에 봉해졌다. 1462년에 우찬성, 뒤에 능성부원군(綾城府院君)에 봉하여지고 우의정을 거쳐서 영의정이 되었다.
이 때 건주위(建州衛)의 여진족이 변경을 침범하자 진서대장군(鎭西大將軍)이 되어 이를 토평하였다. 특히, 세조는 "나의 만리장성이다."라고 표현할 정도로 매우 신임하였다.
1468년 예종이 즉위하자 원상(院相)으로서 호조판서를 겸직하였으며, 1469년성종이 즉위하자 다시 원상으로서 이조판서를 겸직하였다. 뒤에 청백리(淸白吏)에 녹선되고, 좌리공신(佐理功臣) 2등에 추록되었다. 시호는 충렬(忠烈)이다.