Le mura (XV sec.) del castello, austere e spoglie, formano un rettangolo interrotto solo da due torri ad angolo e da torri di guardia. Il cammino di ronda permette di scoprire gradevoli punti panoramici sulla città, le saline e l'oceano. Un mastio quadrato del XII sec. ospita un museo. Nel castello sono organizzate ogni anno mostre temporanee, il cui tema è sempre legato alla storia di Noirmoutier.