Según cuenta el Dr Gastón Morata en su novela "El Perfume de Bergamota" a Yusuf III le tuvieron preso en esta torre, habilitada como castillo-palacio (como lo es la Torre de la Cautiva o la de las Infantas, en la Alhambra) al que se accedía por un pasadizo acodado hasta llegar a un pequeño patio de coloridos azulejos, porticado y rodeado por galerías de arcos peraltados sobre impostas de mocárabes que daban paso a la sala principal con balcones que permitían contemplar la vega y el mar.