대한불교조계종 제8교구 본사인 직지사(直指寺)의 말사이다. 588년(진평왕 10) 조사 운달(雲達)이 창건하여 운봉사(雲峰寺)라 하였으며, 그 뒤 조선 중기까지의 사적은 전래되지 않고 있다.
1624년(인조 2) 혜총이 중창하였으나, 1642년(인조 20)에 소실되어 1649년(인조 27) 의윤(義允) · 무진(無盡) · 태휴(太休) 등이 중수하였다.
전해지는 이야기에 따르면 절 이름을 김룡사라 한 것은 옛날 문희(聞喜 : 지금의 聞慶)부사로 김씨성을 가진 자가 있었는데, 관(官)에 죄를 짓고 도망쳐 이 산에 숨었다가 우연히 신녀를 만나 가정을 이루어 용(龍)이란 아들을 낳았다. 가운이 또한 부유해져 사람들이 김씨 어른(金長者)이라 일컬었다. 하루는 큰 비 바람이 분 뒤 그 처자를 잃어버리게 되었으나, 간 곳을 알 수 없었으며, 지금 그 옛 터와 섬돌이 절의 서쪽에 남아있어 절 이름을 김룡사로 부르게 되었다고 한다.
일설에는 금선대(金仙臺)의 금자와 용소폭포의 용자를 따서 금룡사라 하였다는 설도 있다. 일제강점기에는 전국 31본사의 하나로서 50개의 말사를 거느린 큰 절이었으나, 지금은 교통의 불편으로 옛 말사였던 직지사의 말사가 되었으며, 1940년 요사와 종루를 개수하여 오늘에 이른다. 김룡사 일원의 계곡을 운달계곡이라 하는데, 맑은 물과 짙은 녹음이 어우러져 ‘문경8경’ 가운데 하나로 손꼽는다.
현존하는 당우로는 대웅전을 중심으로 하여 극락전 · 응진전(應眞殿) · 금륜전(金輪殿) · 명부전(冥府殿) · 상원전(上院殿) · 영산전(靈山殿) · 원통전(圓通殿) · 첨성각 · 범종각 · 수월당(水月堂) · 만월당(滿月堂) · 연하당 · 일주문(一柱門) · 천왕문 · 요사 등 전각 48동이 있다.
일주문에는 문 윗부분에 ‘紅霞門(홍하문)’, 아랫부분에 ‘雲達山 金龍寺(운달산 김룡사)’라고 쓴 김규진(金圭鎭)의 글씨가 있고, 대웅전에는 1644년(인조 22) 조성된 천장(天藏) · 지장(地藏) · 지지(持地) 보살상을 묘사한 삼장탱화(三藏幀畫)와 삼존불이 봉안되어 있다.
응진전은 임진왜란 때 불타버린 뒤 다시 지은 건물로서, 16나한상과 나한도가 모셔져 있다. 절 입구에서 보면 정면에 ‘慶興講院(경흥강원)’이라는 현판이 걸려 있는 건물이 있는데, 이는 300인을 수용할 수 있는 국내 최대의 온돌방으로서, 자연 지층을 그대로 이용하여 건축한 것이다.
그 외 사찰에는 시대를 알 수 없는 석조 약사여래입상과, 조선 중기의 것으로 보이는 맷돌 · 떡시루 · 쇠북 · 범종, 지옥의 염라왕청에서 죽은 이가 생전에 지은 선악의 행업이 나타난다는 업경대(業鏡臺) 등이 사물(寺物)로서 남아 있다.
부속 암자로는 대성암(大成庵) · 화장암(華藏庵) · 양진암(養眞庵) · 금선대(金仙臺) · 토굴 등이 있다. 양진암은 1658년(효종 9) 설잠(雪岑)이 창건하였으나, 1664년에 불탄 뒤 1749년(영조 25) 환월(幻月)이 중건하였다.
그 뒤 1769년 무영이, 1825년 해운과 경봉이, 1840년 정봉이, 1929년 인택이 각각 중수하였다. 대성암은 1800년(정조 24) 영월(潁月)이 청하당을 옮겨 창건하였고, 1886년 혼성(渾性)이 중수하였다.
현재는 여승들만의 수도처로서, 이곳에는 고승의 진영이 담긴 영정과 동물 그림의 병풍 등 많은 현판들이 있다. 전래되는 대표적인 전설로는 산너머의 대승사(大乘寺)에 불이 났을 때, 일심으로 염불하면서 바가지에 시냇물을 퍼서 불을 끈 동승(童僧)의 이야기가 전해지고 있다.