Il castello in mattoni, fiancheggiato da quattro torri quadrate (1357-1368), fu dotato di una cinta muraria nel 1385 e nel XV sec. divenne una prigione. Grozio, incarcerato qui nel 1619, riuscì a evadere nel 1621 nascondendosi in un baule con cui gli avevano portato dei libri. La visita permette di ammirare il famoso baule. Il resto del castello presenta l'atmosfera e la vita di una fortezza militare tipica della Nieuwe Hollandse Waterlinie (sistema difensivo della linea d'acqua olandese), funzione del Castello di Loevestein fino al 1951.