일명 전악서(典樂署)·대악관현방이라 불리기도 하였다. 정확한 설립연대는 불분명하며, 다만 고려 초기 목종 때 대악서에 영(令)이 있었다는 기록으로 보아 늦어도 목종 때 대악서가 설립되었을 것으로 추정된다.
서긍(徐兢)의 『고려도경(高麗圖經)』권40의 기록에 의하면, 여기에 속한 악공들은 260인이었으며, 당시 관현방 소속의 공인 170인, 경시서(京市署) 소속의 공인 300인과 더불어 궁중의 잔치나 예식에 참여하였다.
처음에는 예부(禮部) 밑에 속하여 있었으나 1308년(충렬왕 34) 전악서로 개칭, 자운방(紫雲坊)으로 이속되었으며, 그뒤 여러번 명칭이 바뀌다가 마침내 1372년(공민왕 21) 전악서로 확정되어 조선시대 그대로 이어졌다.
전악서에 소속된 관원으로는 목종 때 영이 있었으나, 제대로 관원이 갖추어진 시기는 문종 때였다. 그해 종7품의 영 1인과 종8품의 승(丞) 2인을 두었고, 이속(吏屬)으로 사(使) 6인과 기관(記官) 2인을 두었다.
1308년 관직 및 인원수도 늘고 품계도 승격되었으나, 그 뒤 다시 직제가 개편되어 1356년에 와서 완전히 정비되었다. 이해 정비된 조직을 보면, 관원으로 종7품의 영 2인과 장 2인, 종8품의 사 2인과 승 2인, 그리고 종9품의 직장 2인 등 총 10인이었으며, 이 숫자는 260인의 공인과 더불어 고려의 멸망 때까지 변동 없이 계속되다가 조선시대로 전승되었다.