El Castillo fue convertido en edificio de culto religioso a finales del siglo XIV, como se deduce de las noticias recogidas por J. Mercado en un documento de 1384 donde se deslindan los términos de Santisteban y Úbeda, ... en la iglesia de Santa María del Estrella, término de Sant Esteuan del Puerto se ayuntaron para departir los terminos de la cibdat de Ubeda y de la dicha Villa de Sant Esteuan del Puerto ... .
Por el exterior se aprecia que el edificio original tuvo algunos vanos y saeteras, hoy cegados por la obra interior, así como parapeto almenado, también cegado para construir el tejado que cubre el camarín.
La torre mide 6.2 metros de lado.
Esta torre del homenaje se utilizó de campanario en la antigua Ermita.
Además de la torre del homenaje quedan restos de los muros del castillo en el interior de la Casa del Santero de la *Ermita de la Virgen de La Estrella*.
Dentro de dicha casa estaría la puerta primitiva de acceso a la Torre del Homenaje que estaría a la altura del adarve.
Se le abrió una puerta para usar el habitáculo bajo desde la sacristía.
Sus muros tienen un grosor de 114 cm.
En el interior de la Casa del Santero se encuentran restos de las murallas que van desde la Torre del Homenaje hasta la esquina de la Ermita de la Estrella. En el interior de estas murallas hay un extraño pasadizo que se encuentra ventilado por una ventana al exterior.
También existe tallado en una piedra un extraño símbolo hecho por puntos de un cincel que representa a un triangulo con un conjunto de puntos a fuera de éste en su lado superior derecho.
La torre del Santuario está declarada Monumento Histórico.