Al llegar el emperador Carlos I a España se inició la guerra de las Comunidades de Castilla mediante el levantamiento armado de los denominados comuneros, acaecido en la Corona de Castilla desde el año 1520 hasta 1522. Tras la victoria de Carlos I se produjo el desmochamiento de la torre con el objeto de evitar males mayores.
A mediados del siglo XX se rehabilitó la torre con un mirador ubicado en su extremo superior que más tarde fue retirado.
En el año 1974 se decidió dar a la torre una cota mayor, se emplearon materiales modernos en las ampliaciones, esto provocó un rechazo que causó que en 1976 los nuevos materiales fueran reemplazados por piedra tal como se puede observar en la actualidad.
Durante un periodo de finales del siglo XX se encontró ubicado el Instituto Interuniversitario de Estudios de Iberoamérica y Portugal, se instaló igualmente el Museo Oriental de Salamanca que finalizó su exposición en la primera década del siglo XXI.
Actualmente se encuentra en remodelación para alojar un centro cultural que albergará teatro, música, conferencias, cursos, exposiciones y además contará con biblioteca y ludoteca.