1682년(숙종 8) 병조판서 김석주(金錫胄)의 건의에 따라 훈련도감 소관군, 영부표하별대(營部標下別隊)·병조 정초군(兵曹精抄軍)에서 각각 일부를 차출, 금군(禁軍)의 성격을 띤 금위영을 조직하고 당장 대장직(大將職)을 맡길 사람이 마땅하지 않아 우선 병조판서가 겸대(兼帶)하도록 하였다.
그 뒤 1685년에 정식으로 병조판서가 종2품의 대장을 겸하도록 규정하였다가 1754년(영조 30)에는 별도의 대장 1인을 두어 실제로 금위영을 통할하도록 하였다.
금위영은 그 맡은 바 업무가 용호영(龍虎營)과 중복될 뿐만 아니라 재정상의 이유로 혁파하자는 안이 때때로 대두되었으며, 1777년 정조는 금위영이 유명무실하다 하여 금위대장의 직위를 금위사(禁衛使)로 격하시킬 뜻을 비치기도 하였으나, 1881년(고종 18)까지 존속하였다.