병조의 속아문으로서 고려시대에는 군기감(軍器監)과 군기시가 몇 번 교대로 바뀌어 불렸다. 조선시대에 들어와서 1392년(태조 1)에 군기감이 설치되었다가 1466년(세조 12)에 군기시로 개칭되었다.
관원은 병조판서나 병조참판 중에서 1인, 무장(武將) 중에서 1인을 선발하여 도제조(都提調)와 제조를 두어 감독하게 하였다. 그 밑에 정(正)·부정(副正)·첨정(僉正)·별좌(別坐)·판관(判官)·별제(別提)·주부(主簿)·직장(直長)·봉사(奉事)·부봉사(副奉事)·참봉(參奉) 등이 있었다.
『경국대전』에 나와 있는 기술직종을 보면 여기에 딸린 공장(工匠)으로는, 칠장(漆匠) 12인, 마조장(磨造匠) 12인, 궁현장(弓弦匠) 6인, 유칠장(油漆匠) 2인, 주장(鑄匠) 20인, 생피장(生皮匠) 4인, 갑장(甲匠) 35인, 궁인(弓人) 90인, 시인(矢人) 150인, 쟁장(錚匠) 11인, 목장(木匠) 4인, 야장(冶匠) 130인, 연장(鍊匠) 160인, 아교장(阿膠匠) 2인, 고장(鼓匠) 4인, 연사장(鍊絲匠) 2인이었다.
세종 때에는 서북 변경의 개척으로 화기 사용이 빈번해지자 군기시에서의 화약기술의 확보를 위해 화약장(火藥匠)의 전지전출을 견제했고, 군기시 안에 화기를 전담하는 10여 인의 관원을 두기도 하였다. 이들은 양반 자제 중에서 기술이 정교하고 무략(武略)이 뛰어난 자를 뽑은 것으로 일명 겸군기(兼軍器)라 불렀다.
그러나 세조 이후 오랜 기간 전쟁이 없게 되자 군기시의 기능은 차츰 해이해져서 본래의 기능을 제대로 발휘할 수 없었다. 1884년(고종 21) 군기시가 폐지되자 그 직무는 기기국(機器局)으로 옮겨졌다.