Si tratta di una graziosa residenza, che pare essere la più vecchia della collina del Campidoglio, costruita nel 1800 da Robert Sewall, e rimasta proprietà della stessa famiglia per oltre 120 anni. La casa diventò poi uno dei centri della vita mondana cittadina e tra i suoi illustri occupanti si contano Albert Gallatin, Segretario al Tesoro sotto i presidenti Jefferson e Madison. Secondo alcune fonti, Gallatin definì i dettagli finanziari dell'acquisto della Louisiana proprio in questa casa.