Un nuovo vescovado fu costruito nel XII sec. accanto alla nuova cattedrale. Nel XVI e nel XVII sec. seguirono due ricostruzioni, l'ultima delle quali per volere del conte Patrick, desideroso di creare una vasta residenza signorile che incorporasse il suo nuovo palazzo. La torre rotonda d'angolo risale alle trasformazioni intraprese nel XVI sec. dal vescovo Reid. Del XIII sec., la scultura di arenaria gialla (in una nicchia rossa) raffigura un vescovo.