Al castello Brown (ex castello di San Giorgio) si accede dalla scalinata che parte dal porto e dalla piccola chiesa di San Giorgio. Questa fortezza del X secolo, più volte rimaneggiata, fu anche l'ex residenza del console inglese Sir Montague Yeats Brown, dal 1867 al 1905, e conserva alcune opere d'arte. Ma il suo interesse principale è la splendida vista su Portofino e sul Golfo di Rapallo. Proseguendo il percorso verso il faro, la vista abbraccia tutta la costa fino a La Spezia.