L'edificio, ideato da Zuccalli (fine del XVII sec.), fu trasformato in stile rococò da Cuvilliés nel 1735. Questo palazzo era destinato alla futura contessa Portia (da cui il nome), amante del principe elettore Carlo Alberto.