호계사(虎溪寺)에 대한 기록은 고려시대 목암(睦庵) 일연(一然, 1206~1289)이 지은 『삼국유사(三國遺事)』에 전한다. 『삼국유사』 권3 탑상(塔像) 편에는 호계사에 파사석탑이 봉안되어 있다고 한다. 이 석탑은 서기 48년 김수로왕의 왕비 허황옥(許黃玉)이 서역의 아유타국(阿踰陀國)에서 배에 싣고 온 석탑이라고 기록되어 있다. 『삼국유사』 의 내용에 의하면 아유타국의 공주 허황옥은 부모의 명을 받들어 뱃길로 동쪽으로 향하였다. 항해 도중 수신(水神)의 노여움에 막혀 이기지 못하고 돌아가 이러한 사정을 부왕(父王)에게 말하였다. 부왕이 파사석탑을 싣고 가라고 명하니 허황옥은 바다를 쉽게 건널 수 있었다. 이에 가락국 남쪽 해안에 정박하였는데 허황옥이 붉은 돛, 붉은 깃발, 주옥 등 아름다운 것을 싣고 정박한 곳이기에 배가 닿은 곳을 주포(主浦)라고 불렀다. 『삼국유사』의 기록에 의하면 수로왕이 허황옥을 맞이하고 함께 나라를 다스린 것이 150여 년이었다고 한다. 이때까지 해동에 아직 절을 세우고 불법을 받드는 일이 없었다고 한다. 사찰은 452년, 제8대 질지왕(銍知王) 2년에 이르러서야 세워졌다. 질지왕이 창건하고 파사석탑을 봉안한 곳이 호계사로 여겨진다. 탑은 4각 5층으로 되어 있고, 그 조각이 매우 기묘했다고 한다. 돌에 미세한 붉은 반점 색이 있고 그 질이 무르니 우리나라에서 나는 것이 아니라고 『삼국유사』는 전한다. 파사석탑은 고려시대에 일연이 『삼국유사』를 찬술할때까지도 존재했다고 한다. 그 뒤의 연혁은 전하지 않는다. 현재 파사석탑으로 불리는 탑은 김수로왕비릉 경내에 있는데 수로왕비가 이곳에 올 때 타고 온 배의 닻돌이라고도 한다.