Fortemente ispirato al Palazzo Rucellai di Firenze, è il capolavoro del Rossellino. All'interno si noti la sala d'armi, la biblioteca con gli incunaboli e la camera papale con il letto barocco. Le tre facciate che danno sulla cittadina sono simili e ritmate da pilastri e cornicioni, mentre la quarta facciata, con tre ordini di logge e il giardino pensile, guarda sull'ampio paesaggio mozzafiato della Val d'Orcia.