A caballo de los siglos XII y XIII, cuenta la leyenda de la aparición a un labriego llamado Juan, de la imagen en el campo que estaba labrando.
Se data la leyenda de su aparición hacia el 1108 en plena dominación musulmana con la conquista del lugar por las huestes de Alfonso VI: ...Parose en seco su ganado y de entre la reciente tierra removida vio surgir una figura pequeña que despedía un torrente de luz y aromas. ¡Creed y esperad! me ha dicho, añadiendo que será la estrella que alumbre nuestro camino hacia la redención...
El Castillo fue convertido en edificio de culto religioso a finales del siglo XIV, como se deduce de las noticias recogidas por J. Mercado en un documento de 1384 donde se deslindan los términos de Santisteban y Úbeda, ... en la iglesia de Santa María del Estrella, término de Sant Esteuan del Puerto se ayuntaron para departir los terminos de la cibdat de Ubeda y de la dicha Villa de Sant Esteuan del Puerto ... .
En 1502 se elaboraron los primeros estatutos de la Cofradía de la Virgen de la Estrella. Se conservan unos estatutos de 1594.
La Virgen estuvo vinculada a la Iglesia de Santa María del Collado.
La imagen original parece ser una Inmaculada de un retablo ya que por la parte trasera no está tallada.
Se le ha modificado la mano para que sujete al Niño Jesús.
Durante la Guerra Civil fue atacada y estuvo a punto de desaparecer. Recibió un hachazo y fue colgada en un chaparro donde hoy se encuentra el Monolito de la Estrella. Fue encontrada el 10 de Enero de 1939, rescatada de allí y escondida durante la contienda, aun arriesgo de su vida, por Doña Francisca Martínez Pérez. Hay una placa en la Ermita de la Estrella en su honor.