Le origini del castello risalgono al XII sec. ma Jean de Berry ricostruì l'antica fortezza tra il 1367 e il 1390. L'architetto Guy Dammartin, che supervisionava i lavori per conto del Duca, la trasformò in un castello di stile gotico fiammeggiante. Una miniatura del libro d'ore delle Très Riches Heures du duc de Berry (l'originale si trova al museo Condé di Chantilly) consente di ammirare l'edificio così come si presentava nel XV sec., ma il piano originale del castello è ancor oggi facilmente immaginabile. Il museo Charles-VII, situato in una delle torri, illustra la storia del castello.