La prima costruzione difensiva di Celje, il cosiddetto Vecchio castello, fu costruita nella prima metà del XIII sec. Un secolo più tardi, passò ai signori di Žovnek, conti di Celje dopo il 1341. L'ambiziosa ricostruzione voluta dai conti, pur conservandone la forza difensiva, ne fece una residenza prestigiosa. Ne è una testimonianza la torre Frederick, che domina il lato est del castello. Dopo molti rimaneggiamenti, nell'Ottocento venne a ridotto a cava di pietra finché, nel 1882, la potente fortificazione cominciò a rinascere dalle sue ceneri.