대한불교조계종 제9교구 본사인 동화사(桐華寺)의 말사이다.
921년(경명왕 5) 영조대사(靈照大師)가 창건하였고, 1811년(순조 11)에 무주선사(無住禪師)가 중창하였으며, 1930년에는 포산(苞山)이 3창하였다. 임휴사라는 이름은 고려 태조가 후백제의 견훤에게 팔공산 전투에서 대패하였는데, 추격을 피하여 은적사에 숨어 있다가 안일사를 거쳐 이 절에서 쉬어갔으므로 그렇게 지어졌다고 한다.
현존하는 당우로는 대웅전을 비롯하여 독성각 · 삼성각 · 반야당 · 요사채 등이 있다. 특기할만한 국가유산은 없으나 절 위쪽 굴 속에 석샘이라는 약수터가 있으며, 위장병에 특효가 있는 약물로 널리 알려져 있다. 구전에 의하면 이곳에는 석두암이라는 암자가 있었고 당시 이 샘의 천장에서는 쌀이 떨어졌는데 행자가 욕심을 부려 부지깽이로 쑤신 뒤 물로 변하였다 한다. 이 약수는 수십년 전 위장병으로 고생하던 한 노인에 의하여 발견되었다.