166년(신대왕 2) 좌우보제(左右輔制)를 개편하면서 설치되었다. 좌보(左輔)와 우보(右輔)를 합하여 국상(國相)이라 하였는데, 고구려 건국 초기를 지나면서 전쟁 · 외교 등의 국가 중대사 및 일상 실무가 증대함에 따라 국가 전체의 실무를 총괄하는 관직의 필요성이 대두되었다.
최초로 국상에 임명된 명림답부는 차대왕을 시해한 연나부 출신 인물이다. 신대왕이 즉위한 뒤 기존 나부에서 집행하던 행정 실무를 계루부 왕권 중심으로 조정하던 과정에서 국정 총괄의 임무를 부여받았다.
한편, 179년(신대왕 15) 명림답부가 사망한 뒤 191년(고국천왕 12)에 을파소(乙巴素)가 국상으로 임명되기까지 10년 이상 공석이었다는 점에서 고국천왕 대가 되어서야 국상이 제도적으로 정착한 것으로 보인다. 203년(산상왕 7)에 을파소가 죽자 그의 뒤를 이어 국상에 임명된 고우루(高優婁)는 죽을 때까지 27년 동안 국상의 자리에 있었다.