L'edificio è stato edificato nel 1868 da Paul Abadie, architetto del Sacro Cuore di Parigi, in stile gotico-rinascimentale, nel punto in cui sorgeva il castello dei conti di Angoulême. Del castello d'origine resta solo la torre poligonale (antico mastio del XIII e XIV sec.), da cui si gode il panorama sui tetti della città, e una torre rotonda del XV sec. in cui sarebbe nata Marguerite d'Angoulême.