Federico II di Hohenstaufen (o di Svevia) regnò sulla Puglia all'inizio del Duecento, portando lo splendore della regione al suo apogeo. Nel 1233, fece ristrutturare questo castello ricavato da antichi edifici bizantini e normanni. Il castello è stato modificato e rafforzato nel Cinquecento. È sempre possibile tuttavia vedere il grande cortile trapezoidale e due delle torri risalenti al periodo svevo.