Situato a poca distanza dal museo delle Balene e dal centro storico, questo edificio in stile neogreco (1834, Richard Upjohn), avvolto da giardini, è un tipico esempio degli edifici e dei giardini di New Bedford immortalati da Herman Melville nel suo romanzo "Moby Dick". Opulente sale con mobili d'epoca e varie mostre illustrano 150 anni di storia della città, dal punto di vista economico e sociale, nonché la vita dei ceti più abbienti di New Bedford, dediti alla caccia alle balene.