Dedicato al reggimento del Royal Gloucestershire, Berkshire e Wiltshire, il museo si trova nell'antico Wardrobe, uno dei più antichi edifici del recinto fortificato della città (1254), che fungeva da archivio e da guardaroba del vescovo. Modificato nel XV sec., il palazzo du successivamente trasformato in residenza.