색동옷은 고려시대부터 만들어졌으며, 여인들이 비단 조각을 버리지 않고 모아 두었다가 이어서 만든 데서 유래되었다는 설이 있으나, 그 기원은 훨씬 이전이라고 함이 옳을 것이다.
일찍이 우리 상대복식(上代服飾)에는 일종의 장식연인 색선(色襈)이 있어 유(襦) · 포(袍) 등의 깃 · 도련 · 소맷부리와 치마의 끝단에 둘러져 있었다. 특히 고구려 수산리 벽화의 귀부인이 입고 있는 치마는 주름마다 다른 색으로 표현되어 색동옷을 연상하게 한다.
또한 신라에서는 무관의 직책을 깃의 색으로 구별하는 등 색에 대한 관념이 상당히 발달해 있었으므로 색동옷도 이미 존재하였을 것으로 추측된다. 당시의 색 배합이 어떠했는지는 알 수 없으나 오늘날과 같이 정연해진 것은 음양오행설의 영향을 받은 이후라 하겠다.
음양오행설이란 우주나 인간사회의 모든 현상을 음과 양, 두 원리의 소장(消長)으로 설명하는 음양설과 이 영향을 받아 만물의 생성과 소멸을 목(木) · 화(火) · 토(土) · 금(金) · 수(水)의 변전(變轉)으로 설명하는 오행설을 말하는데, 옛 사람들은 이것으로 인생의 길흉화복을 점쳤다.
오행을 색으로 나타내면 목은 청(靑), 화는 적(赤), 토는 황(黃), 금은 백(白), 수는 흑(黑)이고, 방향으로 나타내면 동은 청, 서는 백, 남은 적, 북은 흑, 중앙은 황이 된다. 그러므로 색동은 청 · 적 · 황 · 백 · 흑의 오행색을 중심으로 배열하되 때에 따라 한두 가지 색을 가감하기도 한다.
그 배색은 상생을 택하고 상극은 가급적 피하고 있다. 오행상생이란 오행이 순환해서 서로 생(生)하여 주는 이치로 금생수(金生水) · 수생목(水生木) · 목생화(木生火) · 화생토(火生土) · 토생금(土生金)을 말하며, 오행상극이란 오행이 서로 이기는 이치로 토극수(土剋水) · 수극화(水剋火) · 화극금(火剋金) · 금극목(金剋木) · 목극토(木剋土)를 말한다.
이러한 원리로 색동의 색채 배합이 이루어진 옷이 오방장두루마기이며, 패물에 있어서는 오방낭(五方囊) · 오방줌치 등이다. 이들은 오행색보다는 오방색을 앞세우기는 하였지만, 그 이치는 역시 음양오행설을 따랐다고 할 것이다.
색동옷은 주로 돌부터 6, 7세까지의 어린아이가 입었다. 색동은 저고리 · 마고자 · 두루마기 등에 사용되어 색동저고리 · 색동마고자 · 색동두루마기 등 다양한 색동옷이 있다. 특히 이 색동옷은 까치설날, 즉 섣달 그믐날 즐겨 입는다고 하여 까치저고리 · 까치두루마기 등의 별명이 붙여지기도 하였다.
또 옛날에는 대처승들이 자신의 자녀를 일반 사람의 자녀들과 구별하기 위하여 입혔다고도 하는데, 이는 아마도 조선시대의 숭유억불정책(崇儒抑佛政策)에서 비롯된 풍습이었으리라 생각된다. 색동옷은 오늘날 어린아이는 물론 어른들도 많이 입고 있으며, 주머니 · 포장지 등에까지 색동의 사용이 확대되고 있다.