대한불교조계종 제5교구 본사인 법주사(法住寺)의 말사이다.
신라 법흥왕 때 유일(有一)이 창건하였다. 창건설화에 따르면, 유일은 사찰을 짓기 위하여 현재의 칠성면 쌍곡리 사동 근처에 자리를 잡고 공사를 시작하였는데, 갑자기 까마귀 떼가 나타나서 대패밥과 나무 부스러기를 물고 날아갔다. 이를 이상하게 여겨 까마귀를 따라가니, 조그마한 못에 물고 온 대패밥을 떨어뜨리고는 못가에 앉아 쉬고 있었다. 유일이 물속을 들여다보니 한 석불이 있었으므로 깨달은 바 있어 못을 메워 절을 짓고 각연사라 하였다 한다. 그 뒤 이 불상에 지성으로 기도하면 영험이 크다 하여 참배자들이 끊이지 않았다. 고려 초기에 통일(通一)이 중창하여 대찰의 면모를 갖추었고, 혜종 때에도 중수하였다. 조선시대에도 1648년과 1655년의 중수를 거쳐서 1899년에는 비로자나불의 개금불사(改金佛事)가 이루어졌다. 그 뒤인 1927년과 1954년, 1965년, 1975년에 각각 중수하였다.
현존하는 당우로는 비로전 · 대웅전 · 칠성각 · 산신각 및 요사채 2동 등이 있다. 이 중 비로전은 1982년에 충청북도 유형문화재(현, 유형문화유산)로 지정되었다. 이 곳에는 1966년에 보물로 지정된 비로자나불좌상이 봉안되어 있다. 정면 3칸, 측면 3칸으로 다포의 형식을 갖춘 팔작집이며, 1975년에 보수하였다. 1982년에 충청북도 유형문화재로 지정된 대웅전은 정면 3칸의 맞배집이다. 융경(隆慶) · 순치(順治) · 강희(康熙) 연간과 1768년에 중수되었다. 대웅전에는 석가여래좌상과 아미타여래좌상 · 약사여래좌상이 봉안되어 있는데 1771년에 개금한 기록이 전한다.
대웅전내 동편에는 승려상이 있는데, 이 절의 창건자인 유일이라는 설과 중국의 달마(達磨)라는 설이 있다. 흙으로 만들었는데 높이는 130㎝이다. 머리에는 건모를 썼다. 결가부좌한 채 양 무릎 위에 놓은 손에는 단장(短杖)이 들려있다. 이 절에는 무게 937.5㎏의 범종(梵鐘)과 법고(法鼓) · 운판(雲板)이 있다. 그밖에도 1999년에 보물로 지정된 통일대사탑비와 2003년에 보물로 지정된 통일대사탑, 조선시대의 작품으로 추정되는 선적당(善跡堂)의 부도, 이름이 밝혀지지 않은 부도가 있다. 비로전 동쪽에는 2001년에 충청북도 유형문화재로 지정된 석조귀부와 팔각옥개석 등이 있다.