고려 초기에 처음 설치되었으며, 995년(성종 14) 대리시(大理寺)로 개칭되고 관원으로 평사(評事)가 두어졌다가, 문종 때 다시 전옥서로 고쳐졌다. 관원으로는 영(令, 정8품) 1인, 승(丞, 정9품) 2인, 이속(吏屬)으로서 사(史) 2인, 기관(記官) 3인이 있었다.
그 뒤 1308년(충선왕 복위)에 형조(刑曹)를 언부(讞部)로 고치면서 동시에 전옥서를 병합하여 폐지되었다가, 1362년(공민왕 11)에 다시 설치되었다. 이 때 관원의 품계는 영이 종8품, 승이 종9품으로 각각 정해졌다. 조선시대에 들어와서도 폐지되지 않고 존속하였다.