삼국시대에는 일명 척(尺) 또는 악생(樂生), 고려시대에는 영인(伶人) 또는 공인(工人)으로 불렸고, 조선시대에도 공인으로 불리기도 하였다. 일본 나라시대(奈良時代)에 일본에 파견되었던 삼국악인들은 악생이라고 불렸으나, 본국에서는 악공 또는 척이라고 불렸다.
고려시대 악공은 대악서(大樂署)와 관현방(管絃房) 소속의 음악인들이었는데, 악공들의 직분은 1053년(문종 7)에 세습하도록 하였으며, 1140년(인종 18)에는 벼슬길에 오르지 못하도록 하였다.
조선 초기 악공은 전악서(典樂署)와 아악서(雅樂署) 및 관습도감(慣習都監) 소속으로 활동하였고, 장악원(掌樂院)의 설립 이후 우방에 속해 있으면서 향악과 당악을 연주하였다.
조선시대 악공이라는 명칭은 장악원의 좌방소속으로 있으면서 아악을 연주하였던 악생의 대칭어로 쓰였다. 조선시대 악공들은 원칙적으로 공천(公賤) 중에서 뽑혔으나, 양인 신분으로 악공을 원하는 사람은 될 수도 있었다. 장악원의 악공직은 모두 악공적(樂工籍)에 올라 세습적으로 전승되었고, 50세 이후에야 악공적에서 벗어나 공역을 면제받았다.
성종 때 악공의 숫자는 악사 2명, 악공 518명, 보수(補數) 52명 등 총 572명이었으나, 병자호란 이후 429명으로 줄었다가 영조 때 446명으로 정하였다. 조선 후기의 악공들은 그들의 봉족(奉足)이 바치는 가포(價布)로 생활하였고, 큰 공을 세우는 경우에 가자(加資:품계를 올리는 일)나 면천을 받았다. 조선 초기에 악공의 선발과 훈련은 악학(樂學)이 담당하였다.