1996년 경상남도 기념물로 지정되었다. 《삼국유사》 권제3 탑상편 〈어산불영 魚山佛影〉조에는 다음과 같은 기록이 있다.
“고기(古記)에 이르기를 만어산(萬魚山)은 옛적의 자성산(慈成山)이며 혹은 아야사산(阿耶斯山)이라고도 하며 옆에는 아라국(呵囉國)이 있었다. 옛날 하늘에서 알이 해변에 내려와 사람으로 화하여 나라를 다스리니 이가 바로 수로왕(首露王)이다. 이 때 경내에 옥지(玉池)가 있었는데 옥지에는 독룡(毒龍)이 살고 있었다.
만어산에는 5명의 나찰녀가 있었는데 왕래하며 통하고 있어 때로 우레와 비를 내린 지 4년이 되어 오곡이 익지 아니하였다. 왕이 주술로써 금하려 하였으나 능히 이루지 못하여, 드디어 부처를 청하여 법을 설하게 하니 나찰녀가 계를 받고 이후로 해를 끼치는 일이 없었고 동해의 어룡이 화하여 굴속 가득히 돌이 되어 각각 경쇠 소리가 났다.
또한 대정 12년 경자, 즉 명종 11년에 만어사를 창건하였다. 동량 보림이 위에 글을 올렸다. 글에 이르기를, 이 산중의 기이한 자취가 북천축 가라국(訶羅國)의 부처의 영상에 관한 일과 서로 맞는 것이 세 가지가 있으니, 그 첫째는 산 가까운 곳이 양주 경계의 옥지인데 이 못 안에 또한 독룡이 살고 있다는 것이요, 둘째는 때때로 강가에서 운기가 일어나 산꼭대기까지 이르는데 그 구름 속에서 음악 소리가 난다는 것이 그것이요, 셋째는 서북쪽에 반석이 있어 늘 물이 고여 끊어지지 않는데 이것은 부처가 가사를 씻던 곳이라고 한 것이 그것이다.
이상은 모두 보림의 말인데 지금 친히 와서 예하고 보니 분명히 믿을 만한 것이 두 가지가 있다. 그 첫째는 굴속의 돌이 거의 금옥의 소리를 냄이 그 하나요 멀리서 보면 나타나고 가까이서 보면 보이지 않아 부처의 영상이 혹은 보이기도 하고 혹은 보이지 않기도 하는 것이 또 하나이다.”
위의 기사를 간추려 보면 가락국 수로왕대에 독룡과 나찰녀의 악폐를 다스리기 위하여 부처를 청하여 설법하고 오계를 받게 하여 만어사를 창건하였으며 그 때 불법의 감화를 받은 동해의 용과 고기들이 이 산 굴속에 가득 찬 돌로 화하여 그 증거로 돌마다 금옥소리를 낸다는 데서 만어산의 전설을 전하고 있다.
그리하여 고대 인도에 있었던 북천축 가라국에서 전해오는 부처님의 영상과 흡사한 이적(異蹟)이 있는 신령스러운 곳이라 하여 고려 명종 10년(1180)에 동량 보림의 상주에 따라 만어사를 창건하였다는 것이다.
그 뒤 보각국사(普覺國師)일연(一然)이 믿을 만한 불영의 이적 두 가지를 확인하였고 《동국여지승람》에는 “만어산의 한 굴속에 있는 크고 작은 암석들은 모두 경쇠소리가 난다.
세상에 전해 오기를 동해의 고기와 용이 돌로 변한 것이라 한다. 세종 때 종경(鐘磬)을 만들기 위하여 이 동중의 돌을 채집하여 시험하였으나 음률이 맞지 않아 그만 두었다.”는 기록이 있다.
또 달리 전하는 바로는 신라때 어느 왕이 해안을 침노하는 왜구를 물리치기 위하여 죽어서 동해의 용이 되었으며, 그 용이 일만 고기떼를 거느리고 부처 영상이 어리는 이 산으로 와서 용은 미륵불이 되었고 고기떼들은 굴속의 크고 작은 바위와 돌로 화했다고 하는데 이는 신라문무왕의 동해 해중능침과 서로 닮은 점이 있다.
이와 같은 기록과 전설을 뒷받침하듯이, 실제로 만어사 남쪽에 있는 대형의 입석 형상을 일컬어 만어산미륵이라 하고 기도처로 삼고 있으며, 굴속의 크고 작은 고기모양의 돌들은 부처영상이 어린다는 산정을 향하여 일제히 엎드려 있는데 지금도 두드리면 실제로 경쇠소리를 내고 있다.