Dopo i lavori di ampliamento, sono stati riuniti due palazzi nobiliari: l'hôtel Mailly (XVII sec.) e l'hôtel Lazerme (XVIII sec.) in cui soggiornarono a più riprese Picasso, Chagall e Cocteau. Il museo porta il nome di Hyacinthe Rigaud (1659-1743), artista locale i cui ritratti - in particolare quello di Luigi XIV con il costume dell'incoronazione - lo resero particolarmente celebre. La bella collezione raccoglie opere dal XV sec. ad oggi.