1977년 충청남도 기념물로 지정되었다. 고려 말에 절의를 지킨 포은(圃隱) 정몽주(鄭夢周), 목은(牧隱) 이색(李穡), 야은(冶隱) 길재(吉再)를 배향하고 있다.
이 각사의 설립내력은 1394년(태조 3) 길재가 동학사의 승려 영월(影月)·운선(雲禪)과 함께 단을 쌓고 고려의 국왕과 정몽주를 초혼(招魂)하여 제사를 지낸 데서 비롯된다.
그 뒤 1399년(정종 1) 유방택(柳方澤)과 그의 아들 백유(伯濡)·백순(伯淳)이 길재가 쌓은 단에 정몽주와 이색을 추제하였으며, 이듬해 백유가 아버지의 뜻으로 양은각(兩隱閣)을 짓기 시작하여 준공은 공주의 지주사(知州事) 부임한 이정간(李貞幹)에 의하여 이루어졌다.
그뒤 1421년(세종 3)에 백순이 다시 이곳에 와서 길재를 추가로 초혼하면서부터 비로소 삼은각(三隱閣)으로 불리게 되었다. 현재의 건물은 여러 차례의 중건과정을 거쳐 6.25동란 때 다시 소실된 것을 1960년 이후에 중건한 것이다.