본래는 소부감에 소속되어 잡직서(雜職署)·도염서(都染署)·장야서(掌冶署)와 함께 편성되었다.
995년(성종 14) 관제를 정비할 때 6부(部)와 시(寺)·감(監)의 소속 관청을 대폭 줄여 10개서만 남게 되었는데 그 중 하나가 중상서이다. 목종 때 영(令)을 두었고, 문종 때에는 영(정6품) 1인, 승(丞, 정8품) 2인과 이속(吏屬)으로 사(史) 6인, 기관(記官) 2인, 산사(算士) 1인이 배속되었다.
1310년(충선왕 2) 관부명이 공조서(供造署)로 개칭되었으나, 명종 때 김광부(金光富)의 관직이 중상서승으로 확인됨으로써 공조서 이전에는 중상서로 존속하였음을 알 수 있다. 1356년(공민왕 5)과 1369년에 중상서로 복구되고, 1362년과 1372년에는 또다시 각각 공조서로 개칭되어 조선으로 계승되었다.