Gần 4 thế kỷ tọa lạc chốn dương gian, Thập Tháp cổ tự vẫn sừng sững như một chứng tích bất khả xâm phạm của thời gian. Người đời cũng không ngớt truyền tụng cho nhau nghe những câu chuyện mang đậm màu sắc liêu trai, kỳ bí. Trong đó không thể không nhắc đến huyền tích về "hòn đá oán hờn", còn gọi là "hòn đá chém" nằm chơ vơ giữa chùa, từng than khóc suốt 200 năm qua.