Il castello in arenaria - fatto costruire dal barone normanno William of Mohun - domina la città dalla collinetta su cui si ergeva una fortificazione già in epoca sassone. George Fownes Luttrell ereditò la proprietà nel 1867 e incaricò l'architetto Anthony Salvin di trasformare il castello in un maniero fortificato in stile Giacomo I.