Walmer Castle, elegante dimora con bei giardini, era la residenza ufficiale dei Lord Wardens of the Cinque Ports (governatore dei Cinque Porti, ovvero: Douvres, Hastings, Hythe, Sandwich e Romney).