1946년 5월 6일에 구미중학원 설립 및 기성회 조직을 거쳐 1947년 2월 28일에 구미중학원 설립인가를 받고 1947년 4월 10일에 개원하였다. 1948년 6월 5일에 재단법인 구미중학원 및 구미농예중학교 인가를 거쳐, 1951년 9월 1일에 학제 변경에 따라 구미중학교로 교명이 변경되었다.
1962년 12월 31일자로 공립중학교로 설립주체가 변경되었다. 1964년 1월 11일에는 학칙 변경에 따라 구미중학교와 구미여자중학교가 분리되었다. 1975년 1월 1일에는 중·고등학교 분리 인가가 나고, 1975년 2월 22일에는 현재의 위치로 분리 이전하였다.
교훈은 ‘참되고 착하고 씩씩하게’이다. 교목은 히말라야시다이고, 교화는 작약이다. 히말라야시다의 이미지를 통해 모진 비바람과 눈서리가 몰아쳐도 늘 푸르게 우뚝 솟는 강직함과 기개를, 작약의 이미지를 통해 병든 사람을 치유하는 어진 정신(仁)을 함양하는 것을 목표로 삼는다.
1983년 3월 야구부가 창단된 이래 1988년 제25회 교육감배 야구대회 우승, 2004년 제34회 전국 중학야구대회 경북대표 선발 우승 등의 성적을 거뒀다. 1989년 3월 교내 씨름부가 창단된 이래 2002년 제31회 전국 소년 체육대회 소장급 금메달, 2004년 제41회 대통령기 전국 장사씨름대회 단체전 준우승, 제18회 전국 시도대항 장사씨름대회 단체전 우승, 제5회 증평 인삼배 전국 장사씨름대회 단체전 우승 등을 거두어 2005년 중등부 씨름 전국 최우수교로 선정된 바 있다.
2010년 3월 현재 33학급으로 편성되어 있으며, 재학생은 1,182명이고, 교직원은 총 67명으로 구성되어 있다. 2010년 2월 제62회 졸업식을 하였고, 총 21,488명의 졸업생을 배출하였다.