선종의 기원에 관한 전통적 관점은 신화적이고 전설적인 내용을 많이 포함하고 있다. 오늘날의 연구에 따르면, 선종의 시작을 알리는 일화인 염화미소(拈花微笑)는 선종이 종파로서 성립한 이후 그것의 근원을 찾고자 하는 후대의 노력에 의해 만들어진 내용이다. 그러므로 동아시아 선종의 실질적 기원은 동산법문(東山法門)으로 불린 도신(道信, 580651)과 홍인(弘忍, 601674)의 활동에서 찾을 수 있다. 이들 동산법문의 후예들에 의해 중국 선종의 6대 조사설이 확립되는데, 초조(初祖)는 남인도에서 중국으로 건너온 주1가 되고, 제2조는 주2, 제3조는 승찬(僧璨), 제4조는 도신, 제5조는 홍인이 된다. 도신과 홍인의 선사상은 불성을 닦는 수심(修心)과 그것을 지키는 수심(守心) 등의 개념으로 설명된다.
그런데 홍인 이후 선종의 제6조를 둘러싸고 초기 선종 문헌에는 다양한 관점이 존재하였다. 일반적으로 가장 널리 알려진 『육조단경(六祖壇經)』에는 홍인의 유력한 제자였던 신수(神秀)가 아닌 일자무식의 주3이 제6조가 되는 과정이 역동적으로 묘사되어 있다. 그러나 20세기 초 주4에서 발견된 몇 가지 문헌에는 이와 다른 전승이 나타난다. 즉 『능가사자기(楞伽師資記)』에는 『능가경』을 한역한 구나발타라를 시작으로 보리달마-혜가-승찬-도신-홍인-신수-보적(普寂)으로 이어지는 전승이 기재되어 있고, 『전법보기(傳法寶紀)』에는 홍인-법여(法如)-신수로 이어지는 전승이 기재되어 있으며, 『역대법보기(曆代法寶記)』에는 홍인-지선(智詵)-처적(處寂)-무상(無相)-무주(無住)로 이어지는 전승이 기재되어 있다. 그러므로 8세기 들어 선종 내에 법맥을 둘러싼 매우 다양한 전승들이 있었지만, 9세기 들어 『보림전(寶林傳)』[801년]에서 서천(西天) 28조설과 동토(東土) 6조설이 정립된 이후, 『조당집(祖堂集)』[952년], 『경덕전등록(景德傳燈錄)』[1004년] 등에서 모두 이 관점을 수용하게 됨을 알 수 있다.
선종의 제6조인 혜능의 가르침을 보통 남종(南宗)으로 부르는데, 이는 혜능에 비해 북쪽 지역에서 활동하던 신수 계통의 선사들의 가르침을 북종(北宗)으로 부른 것에서 연유한다. 이 남종이라는 용어는 후대에 이르면 선종의 또 다른 명칭으로 간주되기도 한다. 이처럼 남종과 북종을 구분하는 데 있어서는 혜능의 제자인 하택 신회(荷澤神會, 684758)의 역할이 주목된다. 신회는 남종의 법맥과 선 사상이 선종의 정통임을 극력 주장했는데, 특히 선 사상에 있어 남종선의 특징이 주5에 있으며, 북종선은 돈오가 없는 주6의 가르침이라고 규정하였다. 여기서 돈오는 사람들이 각자 본래부터 갖고 있는 불성을 단박에 자각할 것을 강조하는 사상이다. 다만 이후 전개되는 선종사의 흐름에서 신회의 역할은 점차 망각되었으며, 후대 선종의 주류가 되는 마조 도일(馬祖道一, 709788)과 석두 희천(石頭希遷, 700~790)의 후예들에 의해 오늘날 『조당집』, 『경덕전등록』 등에 전해지는 것 같은 형태로 선종의 정통성이 확립된다.
이들 문헌에 따르면, 6조 혜능 이후 중국 선종은 5가(家)로 분화되는데, 5가 가운데 주7과 주8은 혜능-남악 회양-마조 도일의 법맥에서 등장하고, 주9과 주10과 주11은 혜능-청원 행사-석두 희천의 법맥에서 등장한다. 다만 5가의 실질적인 성립은 위앙종 · 임제종 · 조동종 · 운문종 · 법안종의 순서이다. 이후 임제종에서 양기파(楊岐派)와 황룡파(黃龍派)가 분화되었으므로, 이들을 보통 선종의 ‘5가 7종’이라고 부른다.
우리나라에 최초로 선을 전래한 인물은 법랑(法朗, 7~8세기)으로, 그에 대해서는 구산선문 가운데 희양산문의 개조 도헌(道憲)의 비문인 「봉암사지증대사적조탑비명(鳳巖寺智證大師寂照塔碑銘)」에 기록이 남아 있다. 그는 중국 선종의 4조인 도신(道信)에게 수학하고 신라로 돌아왔는데, 당시는 중국 선종이 남종과 북종으로 나뉘기 이전이므로, 그는 동산법문의 선 사상을 전승한 것으로 보인다. 이후 우리나라의 선종은 신라 말에서 고려 초에 이르는 기간 동안 9개의 선문(禪門)이 형성되었는데, 이를 구산선문(九山禪門)이라고 한다. 이는 도의(道義)의 가지산문(迦知山門), 홍척(洪陟)의 실상산문(實相山門), 혜철(惠哲)의 동리산문(桐裏山門), 도윤(道允)의 사자산문(獅子山門), 낭혜(朗慧)의 성주산문(聖住山門), 범일(梵日)의 사굴산문(闍崛山門), 도헌(道憲)의 희양산문(曦陽山門), 현욱(玄昱)의 봉림산문(鳳林山門), 이엄(利嚴)의 수미산문(須彌山門)을 말한다. 이들 가운데 도헌을 제외한 나머지 승려들은 모두 중국 유학을 통해 선의 가르침을 접했으며, 중국으로 유학 간 승려 가운데 수미산문의 이엄만이 조동종의 법을 배웠고, 나머지 승려들은 모두 마조 도일 계통의 선을 전래하였다.
고려 선종의 인물 가운데 주목할 사람은 우선 보조 지눌(普照知訥, 11581210)과 그의 제자인 진각 혜심(眞覺慧諶, 11781234)이다. 지눌은 사굴산문의 선사인 운손 종휘(雲孫宗暉)에게 배웠지만, 그 뿐만 아니라 여러 스승에게서 공부하였다. 그의 선 사상의 특징은 일반적으로 지눌의 비명에 나오는 성적등지문(惺寂等持門) · 원돈신해문(圓頓信解門) · 경절문(徑截門)의 삼문(三門)으로 대표된다. 성적등지문은 선종의 정혜쌍수(定慧雙修)를 가리키는데, 선정과 지혜를 균등히 닦아야 함을 강조하는 것이다. 원돈신해문은 화엄과 선이 둘이 아님을 밝히는 것이며, 경절문은 대혜 종고의 간화선을 수행의 지름길로 제시하는 것이다. 혜심은 지눌을 이어 수선사의 제2대 사주가 된 인물로서, 우리나라 최초의 선 어록인 『진각국사어록』을 남기기도 하였다. 그의 가장 중요한 업적은 『선문염송(禪門拈頌)』을 편찬한 것으로, 이는 선종의 고칙(古則) 1125칙에 대한 여러 선사들의 비평인 염(拈)과 송(頌) 등의 말씀을 묶은 것이다. 이를 통해 혜심은 간화선을 널리 선양하였다.
고려 후기에 이르면 우리나라의 선종은 특히 임제종 중심으로 변모하였다. 이러한 흐름에 있어 태고 보우(太古普愚, 13011382), 나옹 혜근(懶翁惠勤, 13201376), 백운 경한(白雲景閑, 12981374)이 주목된다. 보우는 가지산문의 광지(廣智) 선사에게 출가하였으며, 선을 참구하여 깨달음을 얻은 뒤, 1346년 원으로 건너가 임제종의 선사 석옥 청공(石屋淸珙, 12721352)의 인가를 받고 귀국하였다. 혜근은 양주 회암사에서 수도한 뒤 깨달음을 얻었으며, 1347년 원으로 가 인도의 승려 지공(指空)에게 참학하고, 이후 임제종의 선사 평산 처림(平山處林, 12791361)에게 인가를 받았다. 경한 역시 1351년 원으로 들어가 지공을 만난 뒤, 석옥 청공으로부터 인가를 받았다. 이처럼 이들은 우리나라에서 선 수행을 통해 깨달음을 얻은 뒤, 중국 임제종의 선사로부터 인가를 받은 공통점을 지닌다.
조선에 이르면, 세종 시기인 1424년 불교의 7종파를 선종과 교종의 2종파로 폐합했는데, 선종은 조계종(曹溪宗) · 천태종(天台宗) · 총남종(摠南宗)의 3개 종파가 하나로 묶인 것이다. 선종은 전국에 18개 사찰 및 4,250결(結)의 전답과 1,970명의 승려를 가지게 되었다. 사찰의 수는 교종과 같았으나 전답[교종 3,700결]과 승려의 수[교종 1,800명]는 교종보다 많은 편이었다. 1565년 문정대비가 죽자 선종과 교종의 양종 제도가 폐지되어 선종은 자취를 감추게 되었지만, 선종의 계통에서는 이후 많은 인물들이 배출되었다. 그 가운데 청허 휴정(西山休靜, 15201604)은 조선 중기 이후의 불교를 중흥시킨 대표적인 인물이다. 그의 문하에는 많은 제자가 배출되었는데, 그 가운데서도 특히 사명 유정(四溟惟政, 15441610) · 정관 일선(靜觀一禪, 15331608) · 편양 언기(鞭羊彦機, 15811644) · 소요 태능(逍遙太能, 15621649)의 네 사람의 문하에서 많은 법손이 나왔다. 또한 휴정의 동문이었던 부휴 선수(浮休善修, 1543~1615)의 문하에서도 많은 제자가 배출되었다. 이후 1911년 조선총독부의 지배 아래 사찰령이 제정된 이후 조선불교선교양종(朝鮮佛敎禪敎兩宗)이 성립하였고, 1941년 그 명칭을 조계종(曹溪宗)으로 바꾸었다.