- La antigua fortaleza de Bailén, destruido en 1969 para construir un bloque de pisos.
- De su ubicación da fe la Calle el Castillo.
- Fue el núcleo fundacional del municipio.
- El castillo se construyó sobre un antiguo asentamiento romano-visigodo, ya que en sus muros se encontró una inscripción de época visigoda. Se trata de una lápida fundacional en la que según reza, el Abad Locuber construyó dos coros en la que debía ser la iglesia de una fundación monástica fechada en el año 691, durante el reinado del rey visigodo Egica.
- En el interior de este recinto se encontraba también la antigua Iglesia de Santa Gertrudis, cuyos restos fueron demolidos, junto con los del castillo, en 1969.
- Hoy se conserva un torreón circular con sus escaleras a intramuros, parte de la muralla y de lo que fue el patio de armas en el patio de una vivienda privada.
- Es mencionada en 1155 cuando Alfonso VII dio los castillos de Baños de la Encina, Segral y Bailén a su vasallo Abdelaziz en Baeza.
- En 1349 Alfonso XI de Castilla vendió la villa de Bailén, junto con el castillo,a Pedro Ponce de León el Viejo, señor de Marchena y tataranieto del rey Alfonso IX de León, a cambio de la suma de 150.000 maravedís. Bailén pasó a ser una más de las posesiones del patrimonio de la familia Ponce de León, que llegaría a su apogeo en 1440 cuando Juan II de Castilla otorgó a uno de sus descendientes el condado de Arcos. En esta época, el castillo fue modificado hasta convertirse en Palacio Ducal, cuya fachada aún se conserva junto a la Ermita de Nuestro Padre Jesús.
- A lo largo del siglo XV tenemos varias noticias del Castillo de Bailén, que aparecen relacionadas con el Condestable Lucas de Iranzo. Éste lo utilizó ocasionalmente como residencia, tanto para agasajar visitantes, como para organizar cacerías y corridas de toros, e incluso lo atacó en 1470, para castigar al señor de la villa que defendía la causa de Isabel frente a Enrique IV.
- En el siglo XVIII heredó el castillo doña María Josefa Alfonso de Pimentel Téllez de Girón, duquesa de Benavente, Arcos y Osuna, familia a la que la fortaleza perteneció hasta el siglo XIX.