고려 전기의 상원수(上元帥)는 상설 관직이 아니었고, 외적 침략과 같은 유사시에 5군 또는 3군이 편성되면 군사 전체를 지휘하는 사령관 역할을 하였다. 그러다가 1374년(공민왕 23)에 탐라(耽羅)를 정벌할 때 양광·전라·경상도 도통사(都統使) 최영의 지휘 아래 양광도·경상도·전라도의 상원수와 부원수(副元帥)를 각각 1인씩 배속시키면서 원수직을 상설직으로 개편하였다. 이 때 상원수와 부원수는 도명(道名)과 병칭하였고, 해당 도에서 징발한 군사들을 지휘하였다.
이후 각 도마다 도원수(都元帥)·상원수·부원수 각각 1인씩 모두 3인의 원수가 임명되었는데, 도원수는 자기가 임명된 도의 시위군(侍衛軍)을 관할하였고, 부원수는 대개 각 도의 도순문사(都巡問使)를 겸하며 지방에서 직접 외적을 방어하였으며, 상원수는 평상시에는 중앙에 있다가 유사시에는 지방에 내려가 국방을 담당하였다. 이 때 특정인이 도의 원수직을 계속 맡음으로써 해당 지방의 군사력을 장악하였고, 각 도에서 징발한 시위군을 지휘하기 위한 기구로 진무소(鎭撫所)를 설치하여 도진무(都鎭撫)나 진무 등의 관원을 원수의 인척이나 신임하는 사람들로 충원함으로써 각 도의 병력이 원수에게 사적으로 예속되는 결과를 초래하였다.
1388년(우왕 14)에 위화도회군으로 이성계가 정권을 장악한 이후 1390년(공양왕 2)에 각 도의 원수 인장을 회수하였고, 이듬해에 삼군도총제부(三軍都總制府)가 설치되면서 원수직제가 혁파되었다.