Las obras del palacio fueron iniciadas por los Benavides en el siglo XV.
Siglos después lo traspasaron a los condes de Benavente.
Tuvo varias remodelaciones en los siglos XVIII y XIX, así como durante la segunda mitad del XX.
La planta del palacio es rectangular.
Tiene un jardín-huerto.
La fachada presenta dos portadas de sillería del último tercio del XVI.
La fachada principal, orientada al sur, abre con arco de medio punto enmarcado por pilastras cajeadas con capiteles corintios sobre altos basamentos.
Su entablamento se rompe para acoger un balcón de vano adintelado y antepecho de hierro forjado.
A sus lados, sendos escudos nobiliarios de gran empaque sostenidos por tenantes, labrados un siglo después, que presentan forma ovalada sobre cartela apergaminada y coronada.
En los laterales se abren nuevos vanos asimétricos para ventanas con reja de forja.
La otra portada es adintelada, con grandes dovelas, pilastras con basamentos, sencilla cornisa y, en el piso superior, un ventanal a eje con la portada.
En su interior llama la atención el vestíbulo, probablemente del siglo XIX, cuya techumbre es adintelada con pequeñas bóvedas y los esbeltos pilares que la sostienen.
La baranda de la escalera, de hierro forjado.
La rejería, sutilmente decorada.
También se conserva, en piedra labrada, un monumento funerario con la fecha de 1895, con ornamentación vegetal y capiteles compuestos.