공림사(空林寺)라고도 한다. 대한불교조계종 제5교구 본사인 법주사(法住寺)의 말사이다.
신라 경문왕 때 자정(慈淨)이 창건하였다. 자정은 국사의 지위를 사양한 뒤 그곳에 초암을 짓고 살았는데, 그의 덕을 추모한 왕이 절을 세우고 공림사라는 사액을 내렸다고 한다.
1399년(정종 1) 함허(涵虛)가 명산대천을 두루 돌아다니다가 폐사가 된 이 절에 이르러 법당과 요사채 등의 모든 건물을 새로 중창하였다. 1407년(태종 7) 왕실의 자복사찰(資福寺刹)을 명찰(名刹)로 교체하라는 조정의 명에 따라 자은종(慈恩宗) 소속의 공림사도 자복사찰로 지정되었다. 이어서 세조도 이곳에서 참배하였다.
1593년 왜병의 방화로 여러 건물이 불탔으나, 대웅전만은 갑자기 바람이 반대쪽에서 불어와 보존될 수 있었다. 인조 때 다시 중창하였으며, 1688년(숙종 14) 사적비를 세웠다. 1720년에 중창하였으며, 1727년(영조 3)에는 도형(道炯)이 중건하였다.
6·25전쟁 전에는 대웅전·승방·영하문(暎霞門)·문루·행랑채·방앗간 등 8동의 건물이 있었으나, 6·25전쟁 뒤 공비의 잦은 출몰로 영하문과 사적비만 남고 모두 소실되었다. 1965년 법당과 요사채를 재건하였고, 1981년부터 1994년까지 대대적 중창을 이어나가 오늘에 이르고 있다.
현존하는 당우로는 대웅전을 비롯해서 관음전·삼성각·범종루·선원, 영하문이라는 현판이 걸린 일주문, 요사채 등이 있고, 그밖에도 범종과 부도 3기, 맷돌·석조(石槽)·사적비 등이 있다. 그 가운데 범종은 1776년(영조 42)에 주조된 것이다. 부도는 극락전 좌측의 청룡날에 2기가 있고 남쪽의 부도골에 1기가 있다. 청룡날의 것은 모두 높이 170㎝로서 조선 초기의 작품으로 추정된다.
전설에 의하면 절 뒤쪽 미륵봉에는 황금밀탑(黃金密塔)이 있었다고 한다. 당나라 고종 때 낙양(洛陽)의 무덕(武德)마을 공중에 황금밀탑의 그림자가 나타나서 사라지지 않다가 며칠 뒤 공중의 밀탑은 동쪽으로 움직이기 시작하였다. 소문을 들은 고종은 밀탑의 뒤를 좇게 하였는데, 탑은 현재의 미륵봉 바위 속으로 들어갔다. 그래서 바위를 깨어보니 밀탑은 없고 미륵장륙삼존불(彌勒丈六三尊佛)이 있었다. 그 뒤부터 이곳의 산 이름을 밀탑의 그림자가 떨어진 곳이라 하여 ‘낙영산’이라 하였다고 한다.