- En Brihuega existe una tradición textil importante, que se inicia en los siglos XIII y XIV, como queda demostrado por los numerosos batanes que se localizan en sus inmediaciones.
- En 1750 el rey Fernando VI funda la Real Fábrica de Paños de Brihuega, como sucursal de la Fábrica de Guadalajara.
- La fábrica se construirá a lo largo de los primeros años de ese decenio, dentro del recinto amurallado de la ciudad y en el lugar que ocupaba la Ermita de Santa Lucía (en el extremo este del núcleo de Brihuega).
- Constituye uno de los ejemplos de la arquitectura industrial del siglo XVIII en España.
- Tuvo su esplendor de 1768 a 1790, durante el cual fue una de las instalaciones industriales más prestigiosas del país
- Fue saqueada en la Guerra de la Independencia y usado su edificio como cuartel francés.
- Funciona en 1814 y en 1840 pasa a manos privadas siguiendo la fabricación hasta la guerra Civil de 1936.
- Los jardines se levantaron después de 1840 con un bello trazado geométrico formando una malla intrincada de estructura casi barroca.
- Se trata de un edificio del siglo XVIII, con puerta barroca de 1810, que da acceso a un patio con capilla.
- El zaguán da paso al cuerpo principal o rotonda, donde estaban instalados los ochenta y cuatro telares de paños.
- La traza del edificio se debe al Arquitecto don Manuel de Villegas, con reformas posteriores de don Ventura Padierne.
- La Fábrica se entiende como proyecto de una nueva ciudad; a lo que contribuye la concepción del edificio como una construcción a gran escala, con una forma geométricamente cerrada.
- Destacan como parte intrínseca de la Fábrica sus jardines versallescos, con parterres y cipreses, adornados con farolas, miradores, cenadores y fuentes; dominando el conjunto de la ciudad los edificios destinados a la administración y residencia de los funcionarios que se ocupaban de su gestión, que ofrecen una maravillosa panorámica sobre el Río Tajuña.