- El castillo está enclavado en lo alto de un promontorio, a los pies del cual se encuentra la villa.
- Es una antigua fortaleza islámica del siglo XI.
- Perteneciendo más tarde a la orden de Santiago.
- Debido a las numerosas transformaciones sufridas entre los siglos XV y XVI ofrece un aspecto sólido.
- Junto a la fortaleza islámica se sitúa la Torre del Homenaje del siglo XIV, en cuya puerta de acceso se encuentran los escudos en piedra de la Orden de Santiago y de la familia Figueroa.
- Sirvió de residencia de los comendadores de la Orden de Santiago durante los siglos XIII al XVI.
- En la época medieval, la población se extendía a los pies de la fortaleza, en el barrio del Infierno comprendiendo la plaza del concejo, y la iglesia parroquial, todo ese conjunto urbano se encontraba rodeado de una muralla.
- En la segunda mitad del siglo XIV fue reformada para reforzar sus elementos defensivos exteriores y la torre del homenaje.
- En los primeros años del siglo XVI el comendador D. Rodrigo Manrique adaptó la fortaleza a formas de vida más cortesanas, dotándola de un patio de armas columnado, con techado de madera y doble galería.
- Sus capiteles son de estilo gótico y se conservan todos sus corredores interiores.
- Una bella ventana de estilo gótico situada en el centro de la fortaleza presidía el salón principal de castillo.
- En la actualidad el Castillo de Yeste se encuentra reformado y rehabilitado.
- Y en sus antiguos calabozos, hoy rehabilitados, se encuentra un museo etnológico, que contiene aperos donados por los vecinos de Yeste.
- También en el Castillo se encuentra el Centro de interpretación medieval.