Ai tempi dei coloni e fino all'inizio del secolo il museo era occupato da una locanda, la Keeler Tavern. Durante la battaglia di Ridgefield (27 aprile 1777) una palla di cannone e si conficcò nella parete, dove è ancora visibile oggi. In seguito a questo avvenimento la locanda venne chiamata Cannonball House.