대한불교조계종 제9교구 본사인 동화사(桐華寺)의 말사이다. 692년(효소왕 1)에 의상(義湘)이 화엄십찰(華嚴十刹) 중 하나로 창건하여 신광사(神光寺)라 하였으나, 현재보다 서쪽에 위치하고 있었다.
1361년(공민왕 10)에는 나옹(懶翁)이 신광사 주지로 부임한 뒤, 절을 현재의 위치로 이건하였다. 그런데 당시 새 절터를 닦다가 큰 바위가 나왔다 하여 터 닦을 ‘선(禪)’자를 넣어 절 이름을 선석사라 하였다고 한다. 지금도 바위는 대웅전 앞뜰에 묻힌 채 머리 부분만 땅 위로 나와 있다.
임진왜란 때 전소된 뒤 1684년(숙종 10)에 혜묵(惠默)·나헌(懶軒) 등이 중창하였다. 1725년(영조 1)에 서쪽의 옛터로 이건하였다가 1804년(순조 4)에 서윤(瑞允)이 신도들의 도움을 얻어 지금의 자리로 이전하고 대웅전·명부전·칠성각·산왕각·어필각(御筆閣)·정법료(正法寮) 등의 당우를 갖추었다. 세종의 왕자 태실(胎室)이 있는 태봉(胎峰)에서 약 200m 거리에 위치하고 있었던 이 절은 왕자의 태실을 수호하는 사찰로 지정되었으므로 영조로부터 어필을 하사받기도 하였다. 이 어필을 보관했던 곳이 어필각이었으나 그 뒤 화재로 소실되어 현재 영조 어필의 병풍은 정법료에 보관되어 있다.
현존하는 당우로는 대웅전을 비롯하여 명부전·칠성각·산신각·요사채 등이 있다. 이 중 대웅전은 정면 3칸의 맞배지붕 다포집이다. 이 절의 어필각 주위에는 바람이 불면 이상한 소리를 내는 쌍곡죽(雙谷竹)이라는 대나무 숲이 있었다고 한다. 이 대나무를 잘라 만든 피리는 그 소리의 맑고 깨끗하기가 다른 피리와 비길 바가 아니었으며, 이를 교방적(敎坊笛)이라고 하였다 한다. 그러나 지금은 이 쌍곡죽이 남아 있지 않다. 성주지방에서는 가장 큰 절이다.