Una antica tradizione popolare racconta dei lugubri rintocchi che, al tramontare del sole, echeggiavano dalle torri di San Pancrazio e ell’Elefante.
Costruite nei primi del 1300, per scopi difensivi, dai Pisani (i quali a ragione temevano l’imminente invasione da parte delle truppe Aragonesi) nei secoli sono anche state utilizzate come carcere giudiziario. Allo scopo la loro struttura è stata modificata murando il lato delle torri rivolto verso l’interno del castello.
Su questo muro si aprivano delle finestre a duplice inferriata, che davano luce ai carcerati. Vi è testimonianza di lugubri rintocchi di colpi cadenzati che ogni giorno produceva il grosso ferro con il quale uno dei secondini usava colpire le maglie delle inferriate per controllare la loro integrità.