Costruita fra il 1813 e il 1817, la sede della Dogana succedette a cinque edifici precedenti (uno dei quali opera di Wren), tutti devastati dalle fiamme. La campata centrale della facciata fu aggiunta nel 1825 da Robert Smirke.