Durant molts anys aquesta "Casa dels Moros" va servir d'aixopluc, per als dies de pluja o de mal temps, als pastors i llauradors (com s'anomenen allà els camperols), els quals encenien foc a l'interior deixant les parets amb l'empremta del fum. En altres èpoques, com els anys posteriors a la Guerra de la Independència, va ser utilitzat com a refugi pels contrabandistes.

La imaginació popular ha teixit històries fantàstiques al voltant del mausoleu. Uns han volgut trobar tresors a l'interior; uns altres han mantingut la creença supersiticiosa de què posseïnt una de les grapes de ferro que uneixen les pedres interiorment es farien immunes a la fúria i als llamps de les tempestes. Malgrat això, l'edifici ha conservat la seva integritat. I, en part, també gràcies a aquestes creences.

Conten que una vegada que es va intentar destruir el mausoleu, ho va impedir una horrible tempesta, que a més va malmetre gran part de la collita. El temor de què això tornés a passar va fer d'aturador a altres intents.

També hi havia la creença que a l'interior de l'edifici vivia una mora encantada, guardiana d'un riquíssim tresor i disposada amb els seus encanteris màgics a impedir la destrucció.

Fins no fa molts anys encara es parlava per la vila de l'existència d'un túnel que partia del subterrani del sepulcre i creuava el riu fins el poble actual i l'ermita de Santa Bàrbara, situada a dalt d'un turó. El túnel estava poblat de bruixes i éssers misteriosos que no dubtarien a venjar-se de qualsevol intrús.