Con il Thomas Jefferson Building e il John Adams Building, il James Madison Memorial Building va a completare la trilogia delle strutture che compongono la Library of Congress. Insieme custodiscono oltre 20 milioni di libri, 61 milioni di manoscritti, 5 milioni di carte e atlanti e 5 milioni di partiture..