Il castello di Dieppe, costruito in selce e arenaria alternati, poggia su una grossa torre cilindrica, vestigia delle fortificazioni che difendevano la città nel XIV secolo. Accoglie un museo della Marina e un museo d'Arte. La collezione di avori di Dieppe, scolpiti con minuzia dagli artisti stabilitisi a Dieppe per approfittare dei carichi di zanne di elefante importate dall'Africa o dall'Asia, è incomparabile. Vi si trovano anche interessanti dipinti che raffigurano la città di Dieppe (Isabey, Boudin, Pissarro, Sisley) ed una collezione di arte moderna (Dufy, Lurçat) che ruota intorno a stampe di Braque.