Secondo la leggenda, il suo nome risale alle Crociate: un nobile, unico uomo rimasto a corte, morì di estenuazione per aver voluto accontentare tutte le dame rimaste sole. Quando la sua anima volò via, si vide librarsi un enorme caprone (bouc) sul castello, che da allora si chiamò Castelbouc. Le rovine del castello s'innalzano su una roccia scoscesa, alta 60 m, sembrano inaccessibili e sormontano un piccolo villaggio trogloditico abbarbicato alla facciata in roccia calcarea, che si riflette nelle acque del Tarn.