Giacomo IV cominciò la trasformazione della foresteria dell'abbazia in palazzo reale (XV-XVII sec.) ma fu Carlo II ad affidare l'incarico di tracciarne i piani all'architetto Sir William Bruce. Dopo molte vicissitudini il castello tornò ad essere residenza reale sotto il regno della regina Vittoria. Gli edifici del cortile interno sono un bell'esempio di arte rinascimentale. La decorazione degli Appartamenti di Stato è lussuosa; da notare in particolare la modanature in stucco dei soffitti.