Una fortezza ostruita in un sito simile non poteva non attirare l'interesse di chiunque mirasse alla sovranità sul Périgord. Per questo la storia del castello è una lunga lista di assedi e di lotte per il suo possesso. Nel 1214, viene catturato da Simon de Montfort che lo fa radere al suolo; ricostruito, sarà distrutto tre altre volte: durante la guerra dei Cent'Anni, sotto Luigi XI e Enrico IV... ed ogni volta sarà riedifciato! L'attuale aspetto da castello d'operetta è il risultato dei restauri del XIX sec.