Affacciato sui moli di  San Vito e Zizzoli, il castello venne fatto erigere da Federico II su precedenti fortificazioni bizantine e normanne. A pianta trapezoidale, ha quattro torri angolari, di cui solo una è rimasta integra, e un cortile interno in stile rinascimentale. L’aspetto attuale si deve anche alle modifiche apportate dagli aragonesi nel ‘500, quando il maniero diventò la residenza di Isabella d’Aragona. All’interno della grandi sale si trova la Gipsoteca provinciale , che  espone stucchi, calchi in gesso, sculture romaniche ed elementi architettonici e decorativi recuperati da antichi monumenti della zona.
Da notare, superata la cinta esterna attraversano il ponte e l’androne, la Torre del Semaforo, che ospitava la Marina militare e quella dei Minorenni, antico carcere. Lungo il lato che si affaccia verso il mare, interessanti sono le bifore e il portale di età angioina.