Cerca de la Iglesia de Santa María se halla el Torreón del antiguo castillo escondido entre los edificios. Concretamente entre el Convento de las Esclavas y una casa particular.
Torreón circular esquinero con matacán superior.
Resto de la fortaleza de seis esbeltas torres y doble muralla, alrededor de la cual se formó el asentamiento que, procedente de Cástulo, dio origen a Linares.
Podría datar del siglo XIII.
Como consecuencia de la conquista de Baeza, Linares cayó definitivamente en manos cristianas.
En el siglo XV el castillo de Linares participó activamente en las guerras civiles.
Fue a consecuencia de esas guerras que el castillo se reforzó con murallas exteriores tal y como vemos en el dibujo.
En el siglo XVII el castillo se encontraba en buen estado.
Todo el conjunto de fortificaciones se destruyó en el siglo XIX.
De los primitivos restos hoy tan solo queda un torreón de una de las esquinas ubicado en un recinto religioso y algún resto de muralla.
Del dibujo de Jimena Jurado podemos deducir cómo era el castillo.
Poseía una planta rectangular, 30 x 39 m.
En cada una de las esquinas tenía un torreón circular y otro en el punto central de cada lienzo entre torre y torre.
La puerta de acceso se encontraba en un extremo de la parte derecha.
Estaba flanqueada por una torre albarrana aislada del conjunto.
En la época bereber se le añadieron antemuro y foso.
Los cristianos reforzaron la fortaleza añadiendo matacanes y alzaron las torres por encima del adarve para darles más autonomía.