Sull'area dell'attuale castello di Ortenburg sorgeva, sin dal 600 d.C., una fortezza che venne ampliata da Enrico I nel X sec. con il proposito di estendere le proprie frontiere. Nel XV sec., dopo essere stata devastata da due incendi, fu ricostruita da Mathias Corvin, re d'Ungheria, in stile tardo gotico. La torre dell'ala nord presenta ancora un rilievo raffigurante questo re. Nel 1698, in pieno periodo barocco, il castello fu bizzarramente adornato con tre frontoni in stile rinascimentale.