『신증동국여지승람(新增東國輿地勝覽)』에 “승안사(昇安寺)는 사암산(蛇巖山)에 있다”는 기록이 남아있을 뿐 창건 연대나 폐사된 경위는 알 수 없다. 승안사가 창건되면서 사암산을 승안산(昇安山)으로 부르게 된 듯하다. 절터에는 1972년 경상남도 유형문화재(현, 유형문화유산)로 지정된 승안사지 석조여래좌상(昇安寺址 石造如來坐像)과 1963년 보물로 지정된 승안사지 삼층석탑(昇安寺址 三層石塔)이 유물로 남아있다. 절터 주변에는 지금도 기와 · 토기 · 도자기 등의 조각들이 산재해 있다. 석조여래좌상은 고려시대의 것으로 추정된다. 하반신이 땅에 묻힌 채 오른쪽 팔과 머리가 떨어져 있던 것을 수습해 머리를 목 위에 얹어 놓았고 보호각을 설치하였다. 이 불상은 부처의 신체적 특징인 상호(相好)를 따르지 않아 보통의 양식과 달리 머리 장식이 없는 민머리이며 목에 삼도(三道)도 없다. 삼층석탑은 대체로 신라의 석탑 양식을 따르고 있지만, 기단과 탑신의 균형이 잘 맞지 않으며 장식의 비중이 커진 고려 초기 석탑의 특징을 보인다. 1962년에 원래 있던 자리에서 15m 정도 옮겼는데, 이때 탑을 해체하면서 묵서(墨書)와 사리장치 등이 발견되었다. 사리장치는 황동제합(黃銅製盒) 안에 든 향 조각 · 유리 사리병 · 유리구슬 · 은가락지 · 은 조각 등의 장엄구로 이루어졌는데 1494년(성종 25)에 석탑을 옮겨 세웠을 때 안치하였던 것으로 추정된다. 정여창(鄭汝昌, 1450~1504)과 관련된 전설이 전하는데, 그가 모친상을 당해 승안사 경내에 묘를 쓰려고 하자 승려들이 반대했다. 운구 중에 홍수가 나서 오도 가도 못하게 되었는데, 정여창이 상여를 붙잡고 통곡하니 강물이 갈라지고 길이 생겼다. 승려들도 하늘이 낸 효자라고 하여 묘 쓰는 것을 반대하지 않았다고 한다. 이후 정여창이 갑자사화에 연루되어 부관참시당하면서 이 절도 함께 쇠락했다고 한다.