대한불교조계종 8교구 본사 직지사(直指寺)의 말사이다. 676년(문무왕 16) 의상조사(義湘祖師)가 창건하였다.
전설에 의하면 의상이 영주 부석사(浮石寺)를 세울 때 기둥이 자꾸 넘어지므로, 사찰이 융성하고 오랫동안 보전하도록 하는 데는 지리적 영향이 매우 크다고 여겨 부석사 서천(西川)이 허한 것을 보충하기 위해서 예천 주마산 남쪽에 한천사(寒天寺)를 세움과 동시에, 이곳에 청룡사를 세우게 되었다고 한다. 창건 당시 의상은 이곳에 석불 3좌를 봉안하였다고 하나 현존하지 않는다.
또, 이 절이 있는 동네에는 청룡사의 창건과 관련된 전설이 전해오고 있다. 현재의 절터는 원래 큰 호수였는데, 어느 해 정월 초하룻날 이 호수에서 청룡이 하늘로 오르는 것을 본 어느 신도가 못을 메우고 절을 창건하였다고 한다. 낙성식을 하는 날 이슴이라는 영물이 크게 울면서 도망가기에 사람들이 잡아 배를 가르니, 유난히 반짝이는 작은 구슬이 나와서 이를 불상의 복장에 넣었으며, 절 이름을 청룡사라 하였다고 전한다.
그러나 창건설화 이후 이 절의 역사는 전래되지 않고 있다. 다만 큰 홍수가 나서 어느 때 절이 매몰되었다고 전한다. 그 뒤 1935년에 불교신자 김준팔(金俊八)이 법당과 요사채를 짓고 밭두렁에 방치되어 있던 석조여래좌상(石造如來坐像)과 석조비로자나불좌상(石造毘盧舍那佛坐像)을 봉안하였으며, 1970년과 1978년에 행정관청의 도움을 받아 법당을 증축하였다. 9세기의 작품으로 추정되는 석조여래좌상은 1965년 보물로, 고려 초기의 작품으로 추정되는 석조비로자나불좌상도 같은 해 보물로 지정되었다.
이 밖에도 옛 사찰의 주춧돌이 법당 앞에 흩어져 있는데, 주춧돌의 규모로 미루어볼 때 옛날에는 큰 사찰이었음을 알 수 있다. 또한, 흩어져 있던 석조물을 모아 법당 앞에 3층 석탑을 세워 놓았으나 원형은 알 수 없다.