Tuvo dos arquitectos: Joaquín de Churriguera y Jerónimo García de Quiñones, que continuó la obra a su muerte.
Para la capilla del Colegio se encargaron varias pinturas a Francisco de Goya. La más importante, un cuadro de la Inmaculada que fue ubicado en el centro del retablo del altar mayor. Este cuadro y los que le acompañaban desaparecieron a manos del ejército francés durante la Guerra de la Independencia, sin que se haya vuelto a saber de su paradero.
Con el paso de los años el Colegio de Calatrava se convirtió en Seminario Menor y más tarde en Seminario Mayor, aunque la falta de vocaciones religiosas fue llevando a la poca utilización del edificio y a un consiguiente deterioro.
Entre los años 2000 y 2003 se llevó a cabo una gran reforma, con el objetivo de concentrar en un solo lugar las necesidades de la Diócesis.
En la actualidad el Colegio de Calatrava es la sede de la Casa de la Iglesia.