각 병영이 나누어져 설치되어 있어 비용이 많이 들고 병사들의 훈련과 통제가 불합리하므로 이를 개편하라는 고종의 지시에 따라 1888년(고종 25) 4월에 설치되었다. 기존의 친군5영(親軍五營) 체제를 3영 체제로 개편할 때 금위영과 어영청의 병사들을 모아 1884년(고종 21) 11월에 설립한 친군 별영(別營)을 재편하여 창설된 군영이다. 이때 우영, 후영, 해방영을 합해서 통위영으로, 전영과 좌영을 합하여 장위영으로, 별영을 총어영으로 개편하였다.
총어영의 조직과 구성은 이전의 친군 별영 체제를 거의 그대로 유지하였다. 총어사에는 별영사로 있던 이종건을 임명하였다. 3영 체제 아래 도성 방위는 이전 훈련도감, 금위영, 어영청이 분장하였던 체제와 비슷하였다.