남행의 어원은 본래 조회 등의 행사에서 북좌남면하는 국왕, 동쪽에 서는 문반, 서쪽에 서는 무반에 대해 남쪽에서 북향해 서는 반열이라는 뜻에서 유래하였다. 그러나 조선시대의 조회에는 남행의 반열이 따로 설정되지 않았고, 과거 출신이 아닌 관리들의 통칭으로 사용되었다.
고려시대에도 5품 이상 관원들의 자제를 특별히 관리로 임용하는 음서제가 있었고 남반(南班)이라는 부류가 형성되어 있었다. 그러나 고려시대의 남반은 궁중의 당직·의장·전령 등에 종사하는 잡류 출신, 환관 출신, 승려의 자손, 출신 성분이 천하거나 의심스러운 사람들로 품관에 임용된 자들을 지칭, 조선시대의 남행과는 성격이 달랐다.
조선시대의 남행은 처음에는 학식과 덕행으로 추천되어 현직에 임명된 은일지사와 아버지·할아버지의 지위나 공로에 의해 현직에 임용된 문음자제로 구성되었으나, 점차 문음자제들이 그 대부분을 차지하게 되었다. 조선 초기에는 많은 문음자제들이 남행직으로 지정된 각 관아의 하급 관직에 진출, 행정 실무를 익힘으로써 관리로서의 자질을 양성하고 보다 나은 실직으로 나아갈 수 있었다.
때로는 남행 출신 문음자제들의 관계 진출이 문과 출신들보다 빠른 경우도 있어, 문과 급제자들을 오히려 각 관아의 남행에 임명해야 한다는 주장이 나오기도 하였다. 그러나 남행직은 조선시대를 통해 문음자제들의 벼슬길로 활용되었다. 문음 출신의 수령들을 남행수령이라 했는데 조선 후기의 관안에 따르면 문·무과 출신보다 더 많이 임명되고 있었다.