대한불교조계종 제8교구 본사인 주1의 말사이다. 588년(진평왕 10) 조사 운달(雲達)이 창건하여 운봉사(雲峰寺)라 하였으며, 그 뒤 조선 중기까지의 사적은 전래되지 않고 있다.
1624년(인조 2) 혜총이 중창하였으나, 1642년(인조 20)에 소실되어 1649년(인조 27) 의윤(義允) · 무진(無盡) · 태휴(太休) 등이 중수하였다.
전해지는 이야기에 따르면 절 이름을 김룡사라 한 것은 옛날 문희(聞喜: 지금의 聞慶)부사로 김씨 성을 가진 자가 있었는데, 관(官)에 죄를 짓고 도망쳐 이 산에 숨었다가 우연히 신녀를 만나 가정을 이루어 용(龍)이란 아들을 낳았다. 주2이 또한 부유해져 사람들이 김씨 어른〔金長者〕이라 일컬었다. 하루는 큰 비 바람이 분 뒤 그 처자를 잃어버리게 되었으나, 간 곳을 알 수 없었으며, 지금 그 옛 터와 섬돌이 절의 서쪽에 남아있어 절 이름을 김룡사로 부르게 되었다고 한다.
일설에는 금선대(金仙臺)의 금자와 용소폭포의 용자를 따서 금룡사라 하였다는 설도 있다.
1624년 이후 김룡사는 선승양당의 건립부터 시작하여 법당, 범루, 정문, 동서양상, 주3이 건립되었다. 약 80년간 대웅전 단일 불전으로 경영되다가 이후 응진전을 필두로 극락전과 원통전, 명부전이 건립되었다. 18세기에는 회전문-보장문-홍화문의 체계가 있었으며, 천왕문은 1819년에서야 확인된다. 18세기 중반 이후 본 절은 유지관리 체제로 전환되었으며, 산내 암자의 활발한 주4과 주5이 진행되었다.
일제강점기에는 전국 31본사의 하나로서 50개의 말사를 거느린 큰 절이었으나, 지금은 교통의 불편으로 옛 말사였던 직지사의 말사가 되었으며, 1940년 주6와 주7를 개수하여 오늘에 이른다. 김룡사 일원의 계곡을 주8이라 하는데, 맑은 물과 짙은 녹음이 어우러져 ‘문경8경’ 가운데 하나로 손꼽는다.
현존하는 당우로는 대웅전을 중심으로 하여 극락전 · 응진전(應眞殿) · 금륜전(金輪殿) · 명부전(冥府殿) · 상원전(上院殿) · 영산전(靈山殿) · 원통전(圓通殿) · 첨성각 · 범종각 · 수월당(水月堂) · 만월당(滿月堂) · 연하당 · 일주문(一柱門) · 천왕문 · 요사 등 전각 48동이 있다.
일주문에는 문 윗부분에 ‘紅霞門(홍하문)’, 아랫부분에 ‘雲達山 金龍寺(운달산 김룡사)’라고 쓴 김규진(金圭鎭)의 글씨가 있고, 2012년 경상북도 유형문화유산으로 지정된 대웅전에는 1644년(인조 22) 조성된 천장(天藏) · 지장(地藏) · 지지(持地) 보살상을 묘사한 삼장탱화(三藏幀畫)와 삼존불이 봉안되어 있다.
응진전은 임진왜란 때 불타버린 뒤 다시 지은 건물로서, 16 나한상과 나한도가 모셔져 있다. 절 입구에서 보면 정면에 ‘慶興講院(경흥강원)’이라는 현판이 걸려 있는 건물이 있는데, 이는 300인을 수용할 수 있는 국내 최대의 온돌방으로서, 자연 지층을 그대로 이용하여 건축한 것이다.
1670년 (현종 11) 사인비구(思印比丘)가 제작한 사인비구 제작 동종 - 문경 김룡사 동종은 2000년 보물로 지정되었으며, 1703년(숙종 29)에 수원(守源)을 비롯한 6명의 화원이 제작한 문경 김룡사 영산회 괘불도도 2010년 보물로 지정되었다. 이 외에 경상북도 유형문화유산으로 지정된 영산회상도, 현왕도, 사천왕도, 응진전 석조십육나한좌상 일괄, 문경 김용사 명부전 목조지장삼존상 및 제상이 있으며, 문화재자료로 지정된 석불입상과 삼층석탑이 있다.
『대본산 김룡사 본말사 연혁(大本山 金龍寺 本末寺 沿革)』 원고와 『김룡사 사료수집(金龍寺 史料蒐集)』은 2014년 국가등록문화재로 지정되었다.
부속 암자로는 대성암(大成庵) · 화장암(華藏庵) · 양진암(養眞庵) · 금선대(金仙臺) · 토굴 등이 있다. 양진암은 1658년(효종 9) 설잠(雪岑)이 창건하였으나, 1664년에 불탄 뒤 1749년(영조 25) 환월(幻月)이 중건하였다. 그 뒤 1769년 무영이, 1825년 해운과 경봉이, 1840년 정봉이, 1929년 인택이 각각 중수하였다. 양진암 목조관세음보살좌상 및 복장유물 일괄은 2012년 경상북도 유형문화재로 지정되었으며, 양진암 영상회상도와 신중도는 2019년 경상북도 유형문화재로 지정되었다.
대성암은 1800년(정조 24) 영월(潁月)이 청하당을 옮겨 창건하였고, 1886년 혼성(渾性)이 중수하였다. 대성암 금당은 2010년 경상북도 문화재 자료로 등록되었다.
현재는 여승들만의 수도처로서, 이곳에는 고승의 주9이 담긴 영정과 동물 그림의 병풍 등 많은 현판들이 있다. 전래되는 대표적인 전설로는 산너머의 대승사(大乘寺)에 불이 났을 때, 일심으로 염불하면서 바가지에 시냇물을 퍼서 불을 끈 동승(童僧)의 이야기가 전해지고 있다.