Il museo occupa la residenza romana di un prelato bretone, Thomas Le Roy, che aveva accompagnato Carlo VIII a Roma, nel 1494. Nel 1522-1523, fece costruire da Jean de Chenevières, architetto della chiesa di San Luigi dei Francesi, un elegante palazzo, per lungo tempo attribuito al Sangallo per la sua raffinatezza. Ospita oggi le collezioni di sculture antiche (arte assira, egizia, cipriota, fenicia, etrusca, greca e romana) riunite da Giovanni Barracco, ricco barone calabrese che ne fece dono alla Città di Roma nel 1904.