- Fue erigido por Gil de Vivero antes de 1481 en el lugar de Castronuevo, y posteriormente remodelado por su hijo antes de su venta en 1489 al duque de Alba.
- Tiene tres torres de planta circular y dos de planta rectangular y está rodeado por una barbacana que incorpora un parapeto de artillería y un foso.
- El edificio está alamborado, es decir, dentro de un foso, con lo que manteniendo la altura de los muros para los asaltantes desde lejos se reducía el blanco para la artillería.
- El conjunto se compone de un primer recinto rectangular de poca altura que, a modo de barbacana, ciñe el castillo-palacio propiamente dicho, también de planta circular.
- Estos dos recintos están construidos fundamentalmente en ladrillo cal y canto.
- El primero, con torres angulares cilíndricas muy deterioradas, tiene sus lienzos perforados de troneras-buzón, en unos casos alineadas y en otras escaqueadas, de igual anchura al interior y al exterior, sin nicho por la parte de dentro, situadas aproximadamente a la altura del hombro, por lo que serían para disparar armas de fuego manuales del tipo de las espingardas.
- En el interior de este recinto se abren grandes salas abovedadas subterráneas de ladrillo, que se utilizan como caballerizas.
- El núcleo central del edificio es de planta rectangular con cubos angulares y torres cuadradas en dos de sus lienzos, en los que se disponen grandes garitas de cono invertido en ladrillo, similares a las del Castillo de la Mota con el que muestra afinidades.
- La situación del adarve está señalada por una alineación de arquillos exteriores.
- Este recinto encierra el palacio de sillería, constituido por una sucesión de ahbitaciones con sus respectivas chimeneas abriéndose al patio por una galería de arcos escarzanos sobre columnas; las inferiores fueron reforzadas con pilares en el siglo XVI.
- La comunicación entre los dos pisos se hace por una escalera de dos tramos, el primero de los cuales tiene el pasamanos esculpido en la pared.
- En el extremo del patio subsisten tres cuerpos de otra galería en tres alturas que se encuentran macizados.
- La cubierta de toda esta parte fue reparada recientemente.
- La ausencia de heráldica impide atribuir con certeza esta construcción a la casa de Alba, cuyos edificios ostentan siempre sus escudos, aunque se sabe que pertenece a dicha familia casi desde sus orígenes.
- Por otra parte, tampoco la documentación refleja nada sobre este hecho ni sobre sus avatares.
- La fortificación, que ha sufrido un buen número de reformas y remodelaciones a lo largo de su historia, presenta elementos tanto góticos como mudéjares.