조선 세종 때 모든 종파의 폐합에서 남은 두 종파 중의 하나이다. 1424년(세종 6) 예조의 지시에 따라 7종파를 선종(禪宗)과 교종(敎宗)의 두 종파로 폐합할 때, 조계종(曹溪宗)·천태종(天台宗)·총남종(摠南宗) 등 세 종파는 선종이란 이름으로 단일화되었다.
선종은 전국에 18개 사찰 및 4,250결(結)의 전답과 1,970명의 승려를 가지게 되었다. 사찰의 수는 교종과 같았으나 전답(교종 3,700결)과 승려의 수(교종 1,800명)는 교종보다 많은 편이었다.
선종은 흥천사(興天寺)를 도회소(都會所:總本寺)로 하여 모든 종무(宗務)를 집행하였다. 세종의 종단폐합 이후 성종 때에 척불정책이 심하였으나 양종(兩宗)과 승과(僧科)의 제도는 형식적이나마 존속되고 있었다. 연산군 때는 유학의 총본산인 성균관을 기악의 장소로 삼았는가 하면, 선종의 도회소인 흥천사와 교종의 도회소인 흥덕사(興德寺), 그리고 성안의 절들을 모두 공해(公廨)로 삼았고, 사사(寺社)의 토지와 노비를 관에서 몰수하였다.
선종은 광주(廣州)의 청계사(淸溪寺)를 도회소로 삼아 종단의 명맥을 가까스로 부지하게 되었다. 중종의 즉위와 함께 승과제도를 폐지함으로써 선종과 교종도 유명무실하게 되었다. 1550년(명종 5년) 12월 당시 섭정하던 문정대비(文定大妃)에 의하여 다시 선·교 양종이 부활되었고, 선종은 봉은사(奉恩寺)를 본사로 삼고 허응당(虛應堂)보우(普雨)가 판선종사도대선사봉은사주지(判禪宗事都大禪師奉恩寺住持)를 맡았다.
1565년 문정대비가 죽자 양종제도가 폐지되어 선종은 자취를 감추게 되었다. 국가의 권력에 의하여 선종이라는 이름이 박탈되어 종도 없고 파도 없는 산승(山僧)의 불교로 숨어 살아야 했지만, 선종(특히 조계종 계통)에는 적지 않은 인물이 배출되었다. 산중불교시대라고 할 수 있는 어두운 시기에 산속 깊숙이 숨어 살면서 불경과 선법을 부지런히 닦고 전하여 많은 제자와 법손을 배출시킨 인물로 지엄(智嚴)을 들 수 있다.
지엄은 일찍이 북방의 야인을 토벌할 때 종군하여 전공을 세운 바 있었으나, 28세에 출가하여 수선(修禪)과 지계(持戒)를 게을리하지 않았다. 그리하여 연희(衍熙)로부터 ≪능엄경 楞嚴經≫을 공부하고, 정심(正心)으로부터 선법의 인가(印可)를 받았다. 그의 문하에 영관(靈觀)·일선(一禪)·설은(雪誾)·원오(圓悟) 등의 고승이 배출되었다. 특히, 영관은 조선시대 불교의 중흥조라 할 수 있는 휴정(休靜)의 스승이라는 점에서 더욱 유명하다.
영관에게는 휴정·선수(善修)·법융(法融)·영응(靈應)·정원(淨源) 등 제자가 많았다. 이 중에서 휴정과 선수는 암흑기의 조선불교를 중흥시킨 고승이었다. 서산대사(西山大師)로 널리 알려진 휴정은 사실상 조선 중기 이전의 불교암흑기를 딛고 일어서서 그 이후의 불교계에 새로운 장을 연 장본인이다. 사실 그는 조선 중기 이후의 불교, 즉 종명 없는 선종의 시조격인 고승이었다.
그에게는 유정(惟政)·일선·인영(印英)·원준(圓俊)·법견(法堅)·해일(海日)·언기(彦機)·태능(太能)·인오(印悟) 등 이름있는 제자가 70여 명이었고, 그의 문하에서 배운 제자가 1,000여 명이나 되었다. 휴정의 그 많은 제자 중에서도 후대에까지 법손이 크게 성하였던 대표적인 제자로는 유정·일선·언기·태능 네 사람을 꼽으며, 이들을 서산문하 4대파라고 한다. 간략하게 각 문파의 계보를 보면 다음과 같다.
① 사명파(四溟派):사명은 유정의 당호로서 흔히 사명당이라고 부른다. 유정의 법을 이은 제자가 응상(應祥)이며, 그에게는 명조(明照)·쌍언(雙彦)·천오(天悟) 등이 있었는데, 그 중 법을 이은 제자는 명조이다. 명조는 정묘호란과 병자호란에 전공을 세운 이름난 의승장(義僧將)인데, 그 점에서는 유정과 비슷한 데가 있다.
명조에게는 의흠(義欽)·학흠(學欽)·숭헌(崇憲)·상민(尙敏)·시승(時勝) 등의 제자가 있었다. 또 의흠의 제자로는 계휴(繼休)·일종(一宗)이 있었고, 계휴에게는 지원(智圓)·계언(繼彦)이 있었으며, 지원에게는 선언(善彦)·자환(自還)·능문(能文) 등이 있었고, 선언에게는 국선(國禪)·청매(靑梅)가 있었으며, 국선에게는 사준(思俊)·혜심(慧諶)·금호(錦灝)가 있었고, 혜심에게는 치흡(致洽)·명규(明奎)·임성(任性), 임성에게는 처종(處宗)·초율(初律) 등이 법을 이어 내려왔다.
② 편양파(鞭羊派):편양은 언기의 호이다. 언기는 처음 출가하여 인영에게서 배웠으나 나중에 휴정의 문하로 가서 그 법을 얻었다. 그의 법을 이은 제자는 의심(義諶)이며, 그 밖에도 석민(釋敏)·홍변(弘辯)·계진(契眞)·의천(義天)·혜상(惠常)·천신(天信) 등이 있었다. 이들은 각기 문파를 이루어 편양문하 7파라고 하는데 각기 법손들이 흥성하였다. 서산문하에서는 이 편양파의 문손(門孫)이 가장 성한 편이었다.
언기의 뒤를 이은 의심에게는 많은 제자가 있었는데, 그 중에서도 정원(淨源)·도안(道安)·설제(雪霽)·서운(瑞雲)·찬영(贊映)·원휘(圓輝)·풍열(豊悅)·삼인(三印)·운밀(雲密)·명찰(明察)·자징(自澄)·도정(道正)·법징(法澄)·장륙(藏六) 등이 있어서 14파를 이루었다. 풍담문하 14파 중에서 가장 성한 문파가 도안 계통이다. 도안에게도 많은 제자가 있어서 추붕(秋鵬)·처호(處湖)·설형(雪泂)·영담(靈湛)·수일(守一)·금하(錦霞)·선웅(善雄)·진수(振秀)·대청(大淸) 등이 각각 문파를 이루었다.
이 중에서 추붕의 문파가 가장 성하였다. 추붕의 아래에는 낙하(落霞)·원조(圓照)·법종(法宗)·새봉(璽篈) 등 많은 제자가 그 법을 이었다. 풍담문하에 문손이 성하였던 또 하나의 문파로 설제파를 들 수가 있는데, 거기에는 지안(志安)·지점(智霑)·형오(泂悟)·삼인(三印)·청일(淸一)·만회(萬回)·개혜(開慧)·만기(萬機)·성초(性草) 등이 배출되어 각기 문파를 이루었다. 이 중에서도 지안이 유명하며 그 문손이 매우 성하였다.
③ 소요파(逍遙派):소요는 태능의 호이다. 그의 문하에도 수백 명의 제자가 있었는데, 그 중에서도 현변(懸辨)·계우(繼愚)·경열(敬悅)·학눌(學訥)·처우(處愚)·천해(天海)·극린(克璘)·광해(廣海)·사순(思順)·뇌운(雷運)·수일(守一)·정현(靜玄)·탁옥(琢玉) 등이 각각 문파를 이루었다.
현변의 문하에는 호연(浩然)·문신(文信)·옥균(玉均)·태의(太義)·종륵(宗勒)·약휴(若休) 등이 있었다. 태능의 제자인 경열의 문하에는 운학(雲學)·삼성(三省)·삼우(三愚) 등이 있었고, 삼우의 뒤를 문신이 이었으며, 문신에게는 회정(懷淨), 회정의 뒤는 각훤(覺喧), 각훤에게는 즉원(卽圓), 즉원 밑에는 혜장(惠藏) 등이 있어서 그 문파를 이었다.
④ 정관파(靜觀派):정관은 일선의 호이다. 정관에게는 충언(沖彦)·태호(太浩)·계훈(戒訓)·충휘(沖徽)·성희(性熙)·충인(沖忍) 등의 제자가 있었다. 충언에게는 각민(覺敏)·영신(英信)·영운(靈運)·지근(志勤) 등의 제자가 있었고, 지근에게는 천승(天勝)·경뢰(敬雷)·철웅(哲雄)·행수(行修)·태충(太沖)·태감(太鑑)·유문(有文) 등이 있었으며, 유문의 법은 자수(子秀)·관문(貫文)·혜영(惠永) 등이 이었고, 자수에게는 설영(雪瑛)·처우(處愚)·영봉(靈峯)·회경(懷瓊)·청휘(淸輝)·취일(就一) 등의 제자가 있었다.
정관 문하의 하나인 충휘에게는 일여(一如)·영서(靈瑞)·보철(普哲)·지문(志文)·석숭(釋崇)·희안(希顔) 등의 제자가 있어서 그 뒤를 이었다.
⑤ 부휴(浮休) 및 벽암(碧巖)문파:휴정과 더불어 조선 중기 이후의 불교계에 쌍벽을 이루었던 선수의 호가 부휴이다. 그의 문하에 700여 명의 제자가 배출되었다. 그 중에서도 각성(覺性)·계익(戒益)·응묵(應默)·희옥(希玉)·성현(聖賢)·희언(希彦)·선택(善澤)·혜일(惠日)·인문(印文)·담수(淡守) 등이 유명하였다.
특히, 각성·응묵·희옥·성현·희언·인문·담수 등은 각 파를 형성하여, 부휴문하 7파라고 한다. 그러나 부휴문파가 더욱 흥성하였던 것은 그 제자 각성에 의해서라고 할 수 있다. 각성에게도 휴정처럼 뛰어난 제자가 많았다.
그에게는 수초(守初)·처능(處能)·정특(挺特)·진언(震言)·혜원(慧遠)·정현(正玄)·인욱(印旭)·율계(律戒)·응준(應俊)·인영(印英)·천연(天然)·청순(淸順)·현일(玄一)·승준(勝俊)·성오(性悟) 등 뛰어난 제자가 매우 많았는데, 그 중에서도 수초·처능·정특·진언·혜원·인욱·정현·율계 등은 각각 문파를 이루어 벽암문하 8파라고 불렸다.
벽암문하에서 가장 성하였던 파가 수초의 취미파(翠微派)였다. 수초에게는 성총(性聰)·해란(海瀾)·민기(敏機)·철조(徹照)·천해(天海)·각현(覺玄)·처신(處信) 등 훌륭한 제자들이 매우 많이 배출되었다. 수초의 법을 이은 성총의 제자에 수연(秀演)·명안(明眼)·만훈(萬訓)·전각(雋覺)·전익(雋益) 등이 있었으며, 수연에게는 약탄(若坦)이 있었고, 약탄에게는 세찰(世察), 세찰의 뒤를 최눌(最訥)이 계승하였다.
최눌의 문하에 낙현(樂賢)·장언(莊彦)·교평(敎萍)·관혜(冠慧)·도일(道一)·선기(禪機)·혜학(慧學)·전령(展翎) 등이 있어서 그 문풍을 이었다. 비록, 종명은 없었지만 그와 같이 휴정과 선수 이후의 법손들이 선법의 계통, 즉 선종을 흥성하게 이어와서 포교활동이 자유로워진 한말에 원종(圓宗)에 이어서 임제종(臨濟宗)의 이름을 붙였다. 다음에 조선불교선교양종(朝鮮佛敎禪敎兩宗)이라 이름하다가 1941년에 조계종이라는 종명을 확정하기에 이르렀던 것이다.