소윤은 조선 건국 직후 관제 발표 때부터 확인된다. 1392년(태조 1)에 관제를 정할 때, 개성부(開城府), 상서사(尙瑞司)에 설치가 확인된다. 이후에는 한성부(漢城府), 승녕부(承寧府), 공안부(恭安府), 경승부(敬承府) 등 상왕이나 세자를 예우하는 관서에 소윤을 설치하였다. 소윤이 고려시대 각 실무 관서에 설치되었던 것과 유사한 형태로 설치된 것은 태종 대의 관제 개편부터이다.
1414년(태종 14)에 관제 개편 당시 전사시(典祀寺), 종부시(宗簿寺), 사복시(司僕寺), 전농시(典農寺), 내자시(內資寺), 내섬시(內贍寺), 예빈시(禮賓寺) 등 주요한 행정 관서 다수에 소윤이 설치되었다. 본래 해당 관서에는 4품의 부령과 부정이 있었는데 이를 모두 소윤으로 개칭하여 통일하는 조치가 있었다. 이들 관서의 소윤은 관서의 치폐에 따라 순차적으로 폐지되거나 개편되는 과정을 거쳤다.
1466년(세조 12)에 대대적으로 관제를 개편하면서 소윤의 직제는 모두 사라지고 첨정(僉正) 등 다른 관직으로 대체되었다. 예컨대, 한성부 소윤은 서윤(庶尹)이 되었고 봉상시 소윤은 첨정이 되었으며 사복시와 상서원의 겸소윤(兼少尹)은 혁파되었다. 지방에서도 함흥부와 평양부의 소윤을 혁파하고 판관(判官)으로 대체하였다. 이후 『 경국대전』과 같은 법전에서 소윤을 찾을 수 없다. 소윤이 다시 등장한 것은 고종 시기이다.
1887년(고종 24)에 한성부의 판윤이 직접 외국 영사들과 문부를 주고받는 것이 불편하다고 하여서 한성부 서윤을 임시로 없애고 대신 당상관으로 소윤을 새로 설치하여 한성부 사안을 맡길 것을 건의하면서 소윤의 직제가 복구되었다. 1894년(고종 31)에 갑오개혁으로 관제가 개편되면서 한성부의 판윤을 없애고 소윤을 한성부윤(漢城府尹)으로 개칭하면서 다시 폐지되었다. 1896년(고종 33)에 대한제국 관제로 다시 복귀되었다가 1905년에 완전히 혁파되었다.