대한불교조계종 5교구 본사인 법주사(法住寺)의 사내암자이다. 720년(성덕왕 19)에 창건하였으며, 처음은 법주사를 짓기 위한 목재를 저장하여두던 창고로 이용되다가 뒤에 암자로 바뀌었다고 한다.
또, 일설에는 비로봉을 중심으로 해서 모자성을 구축하고 군량미를 비축하였다고 해서, 뒷날 상고암이라 부르게 되었다고 한다. 그 뒤 1876년(고종 13) 인명(仁明)이 중창하였고, 1897년 보봉(普峰)이 다시 중수하였으나, 광복 후에 황폐화되었다.
1963년 법혜(法慧)의 원력(願力)으로 옛터에 법당을 다시 세웠고, 1975년 극락보전(極樂寶殿)을, 1976년 영산전(靈山殿)과 산신각과 남북통일기원탑을 세워 오늘에 이르고 있다.
원래 속리산에는 상고·중고(中庫)·하고(下庫)의 삼고(三庫)가 있었는데 중고암·하고암은 약 70년 전에 파괴되었다고 하며, 이 상고암은 속리산에서 가장 높은 곳에 있는 암자이다.
암자의 동북방에는 유명한 입석대(立石臺)와 경업대(慶業臺)가 있고, 임경업(林慶業)의 스승 독보(獨步)가 수도했던 토굴(土窟)이 있었다고 하나 찾을 수 없다.