우리나라 불교의 남방 전래설을 입증하는 사찰로, 사찰측의 기록에 따르면 48년에 인도 아유타국의 태자이자 승려인 장유화상(長遊和尙)이 가락국 김수로왕의 왕후가 된 누이 허씨를 따라 이곳으로 와서 최초로 창건한 사찰이라고 한다.
그 뒤 선찰(禪刹)로 일관해 오면서 많은 수도승들의 발길이 끊이지 않았지만 자세한 기록은 전하지 않는다. 다만, 가락국 제8대 질지왕이 세운 장유화상 사리탑은 현재에도 이 절에 남아 있는데, 임진왜란 때 왜구들이 탑을 헐어서 부장품을 훔쳐갔으며, 그 뒤 파손된 탑을 복원하였다.
조선시대 후기부터 일제강점기에 이르기까지 운파(雲坡) · 영담(映潭) · 우담(雨潭) · 만허(萬虛) 등이 이 절에 머물면서 중건 · 중수하였으나 6 · 25전쟁 이후에 점차 퇴락하였다. 1980년부터 주지 화엄(華嚴)을 중심으로 중창불사를 시작하여 현재는 규모 있는 사찰의 면모를 갖추고 있다.
현존하는 당우로는 인법당(因法堂)과 관음전(觀音殿) · 칠성각(七星閣), 장유선원이라는 편액이 붙어 있는 응향각(凝香閣), 요사채 · 객실 등이 있다. 국가유산으로는 1983년 경상남도 문화재자료(현, 문화유산자료)로 지정된 장유화상 사리탑과 가락국 장유화상 기적비가 있다. 장유화상 사리탑은 팔각원당형(八角圓堂形)이며, 방형의 지대석 위에 연화대석을 놓고 그 위에 탑신을 얹었다. 장유화상 기적비는 가락국의 불교사를 연구하는 데 귀중한 자료가 된다.
절에서 오른쪽으로 60m 아래에는 장유화상이 최초로 수도했다는 토굴이 있다. 골짜기 끝에 높이 5m, 길이 15m의 축대를 쌓고 그 위에 대지를 마련했는데, 이 축대는 허왕후와 함께 온 아유타국 사람들이 쌓았다고 전한다.
장유사 입구에는 조선시대 후기에 폐사가 된 왕후사지(王后寺址)가 있다. 왕후사는 질지왕이 허왕후의 공덕을 기리고 명복을 기원하기 위한 원찰(願刹)로서 김수로왕과 왕후가 합환한 전설이 깃든 곳에 세운 사찰이라고 하며, 두 줄기의 계곡물이 합쳐지는 풍수지리상의 길지(吉地)라고 하여 현재는 묘소로 바뀌었다.