일제강점기에는 유점사(楡岾寺)의 말사로서, 표훈사(表訓寺)의 산내 암자에 속하였다.
이 절은 신라시대에 원효(元曉)가 창건하였으며, 금강산 안에서는 영원암(靈源庵)과 함께 인적이 거의 미치지 않는 수도처로 알려져 있다. 암자 이름을 수미암이라고 한 것은 불교의 우주관에서 볼 때 세계의 중심에 있다고 하는 수미산(須彌山)을 상징한 것으로서, 불국토신앙의 요람인 금강산의 중심에 이 절이 있음을 상징화한 것이다. 창건 이후 여러 차례의 중수를 거쳤으나 조선 후기에 불타버린 것을 1888년(고종 25)에 호옹(浩翁)이 중건하여 오늘에 이르고 있다.
암자에서 가까운 곳에는 자연석탑인 수미탑(須彌塔)이 있다. 밑으로는 마치 쌓아올린 듯이 자연기대(自然基臺)를 두고, 그 위에 거대한 계단식의 석탑이 형성되어 있다.