Capolavoro d'equilibrio e di gusto, il palazzo fu edificato fra il 1444 e il 1472 per volere del duca Federico, da Luciano Laurana al quale succedette il senese Francesco di Giorgio Martini. Concepito in funzione del panorama che si stende ad ovest della città vecchia, il palazzo possiede una facciata interrotta da logge sovrapposte. Il lato est presenta un aspetto severo e tuttavia maestoso. La corte è un modello d'armonia rinascimentale. Il palazzo ospita un piccolo museo lapidario e la splendida Galleria Nazionale delle Marche.