창건연대 및 창건자는 미상이나 신라 혹은 고려 초에 창건된 절로 추정된다. 『동국여지승람』에 의하면, 고려 말에 서역의 고승 지공(指空)이 이곳에 반야루(般若樓)를 건립하고 3일 동안 『반야경』을 설하였다고 한다.
전성기에는 그 규모가 방대하여 8방(房) 9암(庵)에 승려가 1,000인 이상 머물렀다고 하며, 영산천(靈山川)은 항상 쌀뜨물로 인한 탁류가 흘렀다고 한다. 그러나 임진왜란의 병화로 전소된 뒤 복원되지 못하였다. 전설에 의하면 절 뒤 고깔봉에 밀양부사가 묘를 쓰고 난 다음부터 폐사가 되었다고도 한다.
현재에는 옛 절의 이름을 딴 소규모의 사찰이 있다. 유물로는 1,000여 평의 사지에 흩어져 있는 기와 조각을 비롯하여 석종형(石鐘形) 사리탑과 부도 2기, 삼층석탑 1기 등이 있다. 삼층석탑은 1915년경 지금의 영산초등학교로 이건 되었으며, 신라시대의 양식을 띠고 있다.
또 얼굴의 마멸이 심한 영산구계리석조여래좌상과 부속암자인 법화암(法華庵)으로 옮긴 1972년 경상남도 유형문화재(현, 유형문화유산)로 지정된 창녕 법화사 다층석탑도 이 절에 속하였던 유물이다. 부속암자였던 법화암은 현재 영축산 남쪽에 위치하고 있다. 이 암자 또한 신라시대의 창건으로 추정되나, 현 건물은 1837년(헌종 3)에 중수한 것으로, 법당 안에는 법흥왕 때 조성되었다고 전하는 불상이 안치되어 있다.