I mercanti di Darmouth avviarono la costruzione del forte nel 1481, allo scopo di proteggere le proprie abitazioni e l'ancoraggio in acque profonde. Modificato e ampliato nel XVI e XVIII sec., offre una vista stupenda del mare e dell'estuario. È il primo castello inglese il cui sistema di difesa consentiva soprattutto l'uso di armi da fuoco. Dal castello, il sentiero panoramico South Devon Coast Path offre la possibilità di fare belle passeggiate sulla falesia.