Il castello è situato all'estrema punta della montagna, a strapiombo sul mare e sulla piana. L'edificio è stato eretto dai Normanni ma il sito era occupato fin dall'antichità. È infatti in questo luogo che si trovava il tempio di Venere Ericina, dea tutelare dei navigatori. La fortezza è circondata da possenti mura, protette dalla posizione naturale e dalle torri sporgenti, le torri del Balio.