Pietro II di Savoia, impossessatosi di Yverdon nel 1259, sulla base di una fortezza incompiuta fece costruire questo castello, attorniato da quattro torri circolari. Oggi accoglie un museo di storia locale, in cui una sezione è riservata a Johann Heinrich Pestalozzi (1746-1827), l'eminente educatore dedicatosi all'istruzione dei bambini poveri, che mise in pratica le sue teorie in questa città.