문성왕 때의 고승 무염(無染)이 충청남도 보령성주사(聖住寺)에서 선법(禪法)을 크게 떨침으로써 성립되었다. 무염은 821년(헌덕왕 13) 당나라로 가서 마조(馬祖)의 제자인 보철(寶徹)의 법맥을 이어받았다. 중국에 있는 동안 사람들은 그를 동방대보살(東方大菩薩)로 존중하였다. 845년(문성왕 7) 귀국하여 왕자 흔(昕)의 청으로 오합사(烏合寺 : 후에 聖住寺로 바뀜.)에 머물렀다. 경문왕과 헌강왕으로부터 국사(國師)로 받들어졌으며, 『무설토론(無舌土論)』을 지어 선법을 크게 펼쳤다.
무염의 뒤를 이은 성주산파의 고승으로는 순예(詢刈)·원장(圓藏)·승량(僧亮)·보신(普愼)·심광(深光)·영원(靈源)·현영(玄影)·대통(大通)·여엄(麗嚴) 등이 있었다. 이 가운데 심광은 진성여왕 때 덕유산 영각사(靈覺寺)에 있으면서 성주산파의 선풍을 선양하였는데, 그의 문하에서 현휘(玄暉)가 배출되었다. 현휘는 고려 태조에 의해 국사가 되었으며, 충주 개천산 정토사(淨土寺)에 머물면서 선법을 펼쳐 활행(闊行) 등 몇백명의 제자를 배출시켰다.
무염의 뛰어난 제자인 대통은 845년(문성왕 7) 중국으로 건너가 앙산(仰山)의 법을 얻고, 866년(경문왕 6) 귀국하여 제천월광사(月光寺)에서 선법을 폈으며, 여엄 또한 양평보리사(菩提寺)에 머물면서 선법을 선양하였다.