의상암(義湘庵)의 창건 시기에 관해서는 두 개의 설이 존재한다. 우선 665년(문무왕 5)에 의상(義湘)이 창건했다는 설이 있는데, 이 시기는 그가 당(唐)에서 유학했던 시기에 해당하므로 그 신빙성은 떨어진다. 다음은 원효(元曉)가 인근의 큰 사찰인 안정사를 창건한 시점인 654년(태종무열왕 1)에 의상이 창건한 사찰이라는 견해인데, 앞의 665년 창건설보다는 설득력이 있다. 사찰의 창건과 관련한 문헌 사료가 전하지 않기에 정확한 시기를 가늠하기 어렵고 의상과의 관계도 고증할 수 없지만 대략적으로 볼 때 신라 삼국통일기인 7세기 중반에 절이 창건된 것이 아닐까 한다.
의상암은 의상이 천공(天供)을 받으며 좌선(坐禪)하였다는 의상선대(義湘禪臺) 아래에 있다. 창건 이후 오랫동안 절의 내력은 확인되지 않는다. 다만 조선시대 말부터 현재까지의 중수 기록을 살필 수 있다. 1857년 정원, 1873년 보봉, 1897년 금성, 1901년 원명, 1948년 범성, 2006년 승헌 등이 절을 중수하여 오늘에 이르고 있다. 절의 건물로는 법당과 칠성각, 산신각 등이 있다. 현재 대한불교법화종 소속 안정사의 산내 암자로 영남지역의 관음칠성 기도도량으로 유명하다. 안정사 산내 암자에는 의상암을 비롯하여 가섭암, 은봉암, 천개암 등이 있고, 원효암, 천개암, 장의암, 윤필암, 만리암 등은 절터만 남아 있다.