L'edificio fu costruito nel XVIII sec. su progetto di William Kent, con due ali a gomito che incorniciano un cortile dove in inverno ha luogo il Cambio della Guardia. La costruzione centrale, sormontata da una torre con orologio, è aperta da tre arcate che si affacciano sull'immensa piazza della Horse Guards Parade, dove si svolge il saluto alla bandiera (Trooping the Colour), che segna il compleanno ufficiale della regina.