Il palazzo fu costruito intorno al 1540 da Jean II de Calvimont, signore di Labenche, guardasigilli e cancelliere del Re. Costruito con la tipica pietra rosata della regione, è uno splendido esemplare del Rinascimento tolosano. La collezione permanente del museo attrae un pubblico diversificato, che visita le gallerie di geologia e paleontologia, di storia, di arredo e di tappezzeria, di arte e di archeologia, nonché quella dedicata alle tradizioni popolari.