인도에서는 계(戒)·정(定)·혜(慧) 3학(三學) 중의 하나인 정과 6바라밀(六波羅密) 중의 하나인 선정을 선이라고 규정하였다.
그러나 중국에서는 독창적인 조사선법(祖師禪法)을 주창하고, 선의 맥은 교의 밖에서 따로 전해져왔다고 주장하는 격외선의 이론을 전개시켰다. 즉, 말과 문자로 된 경전의 이론이나 지식의 범주를 초월하여 마음에서 마음으로 전하는 것을 격외선이라고 한 것이다.
우리 나라에서는 신라시대의 무염(無染)이 ≪무설토론 無舌土論≫에서 최초로 이 선법을 주창하였다. “석가모니가 밝은 별을 보고 도를 깨친 뒤에 다시 설산에서 진귀조사(眞歸祖師)를 만나서 현극(玄極)한 뜻을 전해받았으니, 이것이 교외별전의 연원이다.”라고 한 것이나 석존의 삼처전심(三處傳心)을 말한 것 등이 모두 격외선에 관한 주장이다.
고려 중기의 지눌(知訥)도 “정혜쌍수(定慧雙修) 밖에 본분종사(本分宗師)의 별전 선지가 있다.”라고 하였고, 조선 중기의 휴정(休靜)도 ≪선교결 禪敎訣≫에서 격외선을 강조하였으며, 조선 후기의 백파(白坡)는 의리선(義理禪)에 상대되는 것으로 격외선을 주장하기도 하였다.