대한불교조계종 제3교구 본사인 신흥사(神興寺)의 부속암자이다. 652년(진덕여왕 6) 자장(慈藏)이 신흥사의 전신인 향성사(香城寺)와 함께 창건하였다.
자장 이후 동산(東山)·각지(覺知)·봉정(鳳頂)이 주지직을 계승하였고, 원효(元曉)·의상(義湘)을 비롯한 많은 고승들이 계속해서 수도하였으므로 계조암이라 불리게 되었다. 거대한 울산바위 아래 있는 석굴사원으로서 그 구조가 특이하며, 오랫동안 자연의 석굴을 이용한 수행처로서 많은 수도승들의 주목의 대상이 되었다.
현재 경내에 있는 석간수와 흔들바위가 관광객이 즐겨 찾는 곳이 되었다. 석굴 뒤쪽에는 백여명이 함께 앉아 식사할 수 있다는 식당암(食堂庵)이라는 반석이 있다.
중창·중수의 뚜렷한 역사는 전해지지 않고 있지만, 1890년(고종 27) 응화(應化)가 삼성각을 지었으며 1908년 동암(東庵)이 이 암자를 단청하였고, 동고(東杲)가 후불탱화를 조성하였다는 기록만이 전한다. 석굴 내에는 아미타불상과 나반존자상을 모셨다.