Durand de Beaucaire diede inizio alla costruzione di questo palazzo fortificato nel 1254 o nel 1265. Bernard de Castanet ne fece una fortezza, munita di un massiccio mastio, che può essere ammirato dal fiume. Ma, poco a poco, la fortezza ha acquisito tratti civili (ad esempio il camminamento di ronda è divenuto una gradevole passeggiata ombreggiata) ed è divenuta un vero e proprio palazzo che ospita, dal 1922, il Museo Toulouse-Lautrec.