Fin dall’XI secolo il sito era sede delle istituzioni comunali. Fu poi abbellito da Azzone Visconti che negli anni 1330-36 lo fece decorare da insigni artisti tra cui Giotto. Il trasferimento della residenza viscontea diede inizio alla decadenza dell’edificio.
L’attuale veste neoclassica risale al 1778. Degli interni poco sopravvive a causa dei bombardamenti del 1943. Nel 1920 re Vittorio Emanuele III lo cedette al Comune di Milano, che lo utilizza tuttora come sede di uffici, mostre e musei, tra cui il CIMAC (Civico Museo d’Arte Contemporanea).
Attualmente in restauro il CIMAC non è visitabile. Parte delle sue collezioni sono però visibili in altre sedi cittadine. Una selezione di opere del ‘900 è stata collocata nelle Sale Viscontee del Castello Sforzesco; qui sono esposte opere di Boccioni, Sironi, Carrà, Fontana, Soffici, Moranti e Soldati. Nelle sale del Castello è esposta anche la Collezione Jucker donata nel 1992. La Collezione Boschi, che ha una sede propria nella Casa Museo Boschi-Di Stefano di via Jan, comprende opere di alcuni degli esponenti più importanti del ‘900, tra cui Sironi, Fontana, Moranti e Manzoni.
