고려 전기 상서육부(尙書六部)의 정3품 관직인 상서가 개칭된 것이다. 1275년(충렬왕 1) 원나라의 내정간섭으로 상서육부가 전리사(典理司) · 군부사(軍簿司) · 판도사(版圖司) · 전법사(典法司) 등 4사(四司)로 개편되면서 처음 설치되었다. 정원은 각 사마다 1인씩으로 되어 있었다.
이전의 상서는 대개 추밀원의 추신(樞臣)들에 의해 겸직되었으나 판서는 그렇지 않은 것으로 보인다. 각 사의 최고 관직인 판사가 여전히 재신(宰臣)들이 겸직해 각 사의 실질적인 장관이었다.
이후 1298년(충렬왕 24) 충선왕이 관제를 개혁하면서 4사가 전조(銓曹) · 병조(兵曹) · 민조(民曹) · 형조(刑曹) · 의조(儀曹) · 공조(工曹) 등 육조체제로 개편되고 다시 상서로 개칭되었다. 그러나 같은 해에 충선왕이 퇴위하고 관제가 복구되면서 육조가 4사로 개편되고, 다시 판서로 설치되었다.
1308년(충렬왕 34)에도 충선왕에 의해 4사가 선부(選部) · 민부(民部) · 언부(讞部) 등 삼부(三部)로 개편되었는데, 이 때 판서는 전서(典書)로 개칭되었고 정원도 늘어나 각 부마다 2∼3인으로 되었다. 그 뒤 4사체제가 부활되면서 다시 각 사마다 1인씩 배정됐다가 1356년(공민왕 5) 고려 전기의 육부체제가 복구되면서 상서로 개칭되었다.
1362년(공민왕 11)에는 4사에 예의사(禮儀司)와 전공사(典工司)를 합쳐 6사체제가 성립되면서 판서도 다시 설치되었다. 1368년(공민왕 17) 6사가 선부(選部) · 총부(摠部) · 민부(民部) · 이부(理部) · 예부(禮部) · 공부(工部) 등 육부로 개편되자 판서는 상서로 바뀌었다. 그러다가 1372년(공민왕 21)에 다시 6사 체제로 환원되면서 복치되었다.
이후 1389년(공양왕 1) 6사가 이조(吏曹) · 병조(兵曹) · 호조(戶曹) · 형조(刑曹) · 예조(禮曹) · 공조(工曹) 등 육조로 개편되었지만 판서는 변함없이 존속하였다. 조선시대에 들어서 1392년(태조 1) 각 조의 장관으로 전서를 두어 한때 폐지되었다. 그러다가 1405년(태종 5) 육조의 권한이 강화되면서 정2품 관직으로 복치되어 조선의 관제로 정착되었다.