Nel XVI sec., il futuro Carlo IX, allora duca di Södermanland, fece costruire un sontuoso palazzo rinascimentale che fu distrutto da un incendio nel 1665. Non fu mai restaurato e oggi rimangono soltanto il corpo di guardia e la torre del re, Kungstornet, oltre alle rovine di un'alta torre con le sue leggendarie segrete, nell'angolo nord-orientale del cortile. L'ex residenza del governatore, Gamla Residenset, risalente al XVIII sec., si affaccia sul cortile esterno.