Ook bekend als het fort van Santa Barbara of het zwabisch kasteel, is het Kasteel van de Keizer een historische bijzonderheid: het is namelijk het enige zwabische kasteel van noordelijke Italie.

Het was Federico II van Zwaben die het kasteel in de XIIIe eeuw liet bouwen volgens een project dat hem in staat stelde om de belangrijkste verbindingswegen tussen Duitsland en zuidelijk Italie te controleren. De architect Riccardo da Lentini begon het kasteel in 1248 te bouwen op een terrein waar zich al een verstevigde constructie bevond, door een ghibellijnse familie geschonken aan de keizer.

Het vierhoekige gebouw heeft acht torens, waarvan er twee deel uitmaakten van de al bestaande constructie, bekroond met de typische ghibellijnse merels met zwaluwenstaart. Aan de zijden van de ingang bevinden zich twee leeuwen, symbolen van de kiezerlijke woning.