1280년(충렬왕 6) 제2차 일본정벌에 있어서 군관의 사기를 북돋우기 위하여 왕의 요청으로 원(元)이 김방경(金方慶)을 도원수(都元帥)에 임명하는 한편, 박구(朴球)·김주정(金周鼎) 등을 만호에 임명한 것이 고려에서의 만호의 시초였다.
그 뒤 원의 군사조직을 본떠 여러 만호부(萬戶府)가 설치되었고, 왜구가 창궐하자 각 도에 원수(元帥)의 지휘하에 만호가 설치되었다. 그 결과 1300년(충렬왕 26)에서 1307년 사이에 이르는 시기에 종래의 순마소(巡馬所)는 순군만호부(巡軍萬戶府)로 개편되어 만호·천호(千戶) 등의 만호부 직제로 편성되게 되었다.
상만호는 그 중 둘째 벼슬이었다. 직능은 다른 여러 만호와 함께 지방의 방도금란(防盜禁亂)이었지만, 실제에 있어서는 흔히 정치적인 세력과 연결되어 있어서, 집권자에 추종, 봉사하는 것이 보통이었다.