Inizialmente conosciuto con il nome di Castle of Ruthven, questo castello ospitava gli incontri di caccia della famiglia omonima. Nel 1582 vi si svolse il raid di Ruthven, un episodio della lotta tra una parte della nobiltà e la monarchia. Il castello fu confiscato nel XVII sec. e concesso a un favorito del re.