L'edificio, iniziato nel 1527, è opera di artisti fiorentini portati dall'Italia da Giacomo II di Chabannes, signore di La Palice. Dalla terrazza superiore del castello, la vista si estende sul fiume Besbre e la sua valle. All'interno, il Salone dorato presenta uno splendido soffitto a cassettoni dorati e due arazzi dei Prodi. Il salone delle Medaglie custodisce numerose decorazioni fra cui l'ancora d'oro di Nelson. La cappella che ospita le tombe della famiglia Chabannes è stata ricostruita a metà XV sec.