1372년(공민왕 21) 10월 왕권을 강화하고 신변 호위 및 인재를 양성할 목적으로 궁중에 설치하였고, 공신과 고위 관직자의 자제를 선발하여 배속시켰으며 대언(代言) 김흥경(金興慶)으로 하여금 총관하게 했다.
『고려사』에 의하면 공민왕이 노국대장공주(魯國大長公主)가 죽은 뒤 젊고 용모가 빼어난 젊은이들을 이곳에 소속시킨 뒤 이들과 변태 성욕을 즐기고, 후사를 얻기 위하여 이들로 하여금 비빈(妃嬪)들을 욕보이게 하였다는 등 부정적으로 서술하였다. 그러나 이러한 서술은 조선 초의 사가들에 의하여 조선왕조의 개창을 정당화하기 위하여 의도적으로 왜곡한 것으로 보인다.
한편 공민왕은 국내외의 불안한 정정이 거듭되면서 결국 자신이 설치한 자제위 소속의 홍륜(洪倫) 등에 의해 죽임을 당했다. 자제위에 소속된 인물로는 권진(權瑨)·한안(韓安)·홍관(洪寬)·노선(盧瑄)·홍륜 등이 확인되는데, 이들은 뒤에 효수되었을 뿐만 아니라 가산까지 몰수당하였다.