De naam ‘Spaans Kasteel’ slaat strikt genomen niet op het ‘Nieuw Kasteel’ dat Karel V liet bouwen nadat hij de al opgeheven Sint-Baafsabdij liet afbreken, maar op het tweede bijna identieke vesting die Alexander Farnese na de gedeeltelijke vernietiging van de eerste onder het calvinistisch bewind (1577-1584) liet herbouwen in wat toen onze Spaanse Tijd was. Dat was dus geen kasteel van keizer Karel, maar wel van diens kleinzoon, zoon van Karels buitenechtelijke dochter Margaretha van Parma. Het bleef dus ‘in de familie’. De be naming Spaans Kasteel wordt gemakshalve meestal ook gebruikt voor wat Karel liet bouwen.
