Nella parte alta del paese sorgeva l'acropoli greca, cui seguirono le fortificazioni arabe. A queste si aggiunsero altre mura di difesa: i bastioni spagnoli, quindi una cinta aragonese con cinque torri a tronco di cono. All'interno si erge il castello. Nella grande sala a cinque campate il Parlamento siciliano si riunì nel 1295. Dalle mura che si affacciano sul mare, bel panorama sulle isole Eolie.