Aquí se encontraba el primer Convento de los Hermanos de San Francisco de Asís.
Levantado por Gome de Cárdenas.
Obra del arquitecto Francisco del Castillo "el Mozo".
La fachada es renacentista, el único elemento barroco que se aprecia el los frontones de los vanos, partidos.
La portada es un prototipo del rústico manierismo serliano, con elementos como pilastras toscanas, friso de triglifos y metopas, frontón triangular partido, o aparejo de sillares a soga y tizón, así como el escudo familiar.
La torre mirador, con arcos sostenidos por columnas jónicas, es del siglo XVIII.
En la actualidad es sede del Palacio de Justicia.
Tenía una reja atribuida al taller del prestigioso rejero Maestro Bartolomé en 1575, que aún hoy se encuentra en el Museo Arqueológico Nacional. Esta reja fue vendida por 15.000 pesetas al Estado, por su propietario D. Ramón Pérez de Vargas. Fue consultada la adquisición al Director del Museo Arqueológico Nacional, a la Junta Facultativa de Archivos, Bibliotecas y Museos y a la Real Academia de la Historia, los que fallaron favorablemente ...Por su magnitud, grandiosas proporciones y buen estado de conservación todo lo que contribuye a que pueda estimársela como ejemplar preeminente entre los de rejería española.
En el interior de la vivienda noble, resalta el patio de estilo renacentista, con arcos de medio punto, sobre columnas dóricas romanas.