Il college fu fondato nel 1584 da Sir Walter Mildmay. Gli unici edifici del priorato domenicano ad esserci pervenuti sono la hall e l'antica biblioteca, con facciate del periodo Tudor che formano i lati sud e est della New Court. La cappella fu costruita sotto la direzione di Wren (1668-1674) in uno stile classico vicino al barocco. In questa cappella si trova un monumento in memoria di John Harvard, fondatore dell'Harvard College, nel XVII sec.