Quedan restos de lo que fue un castillo medieval, como arranques de murallas y restos de una torre.
Era una de las fortalezas que componían el escudo defensivo de Santisteban del Puerto, junto al Castillo de San Esteban, La Torrecilla, el Castillo de la Guarida, y la Muralla de Santisteban a la cual pertenecía el Torreón de Santa María.