고려시대의 향리는 호장층(戶長層)·기관층(記官層)·색리층의 세 계층으로 구성되어 있었다. 즉, 고려시대에 여러가지 잡무를 담당하는 ‘사(史)’층을 색리층으로 볼 수 있다.
또한, 1051년(문종 5)에 제정된 「향리승진규정표」에 의하면, 호장층과 6방 향리층을 제외한 모든 향리는 색리층이다. 조선 초기의 색리층은 고려의 각종 ‘사’계통을 이은 본래의 색리와 고려말 조선초의 신분혼란과정을 거치는 동안 기관층에서 잡색리로 떨어진 부류를 포함한다.
따라서, 향리 중에서 색리층이 가장 많았다. 이들은 천역에 가까운 모든 향역의 부담자였고, 신분은 지배구조의 하부를 맡고 있었으나 사회·경제적 처지는 천인과 다름이 없었다. 조선 후기는 일반적으로 말단향리를 색리라고 하기도 하였다. →향리