La massiccia struttura al centro di piazza Castello, composta da parti di epoche e stili diversi, riassume la storia della città. Le due torri più antiche inglobano i resti della Porta Pretoria romana; nel XIII secolo furono incorporate in un fortilizio, chiamato di Porta Fibellona, poi ampliato dai Savoia-Acaja.

Il Palazzo Madama è stato restaurato per consentire la visita del castello medievale, dello scalone a due rampe di Juvarra e dello scalone voltato.

Al piano superiore, ha sede dal 1934 il Museo civico di arte antica, con opere come il Ritratto d’ignoto di Antonello da Messina, la scultura Madonna col Bambino del senese Tino da Camaino, tele di  Tanzio da Varallo e altri maestri piemontesi. Le collezioni del museo comprendono circa 28.000 pezzi, dall’alto Medioevo al ‘700.