Construida con muros de aparejo de pequeño tamaño y forma irregular.
Desde el ángulo del lado sur del castillo, arranca la muralla del lado este, que queda interrumpida por dos torres gemelas, que enlazan en el lado norte con otro torreón, desde aquí sigue la muralla hacia el sur, abriéndose en dirección oeste, para alcanzar la Torre del Homenaje, situada en el sur.
Olvera, la islámica Wabra, al-Wabira o Uryawila, creció bajo una fortaleza árabe del siglo XII que formó parte de la línea fronteriza del reino nazarí de Granada. El núcleo medieval estaba rodeado por una muralla de origen andalusí.
En el verano del año 1327, tras un duro asedio, fue reconquistada por Alfonso XI. Desde entonces y hasta la caída de Zahara y Ronda, tras las campañas de 1482, fue la principal avanzada cristiana de la frontera.
Todos los restos de la muralla que aún permanecen han sido declarados BIC.
Es uno de los 6 Bienes de Interés Cultural de Olvera, y una de las 32 murallas y recintos de la provincia.