Il nome deriva dall'angolino roccioso di terra sul quale è adagiata. Rough Point fu costruita nel 1891 per Frederick W. Vanderbilt su una proprietà di 10 acri di fronte all'oceano. La villa signorile in stile gotico fu acquistata nel 1922 da James B. Duke, magnate del tabacco del North Carolina e fondatore della Duke Power. Quando questi morì, nel 1925, la sua unica figlia Doris ereditò la casa e la collezione d'arte e antiquariato ivi contenuta. Doris ne fu la proprietaria per 68 anni, durante i quali aggiunse eleganti mobile europei e ritratti del XVI - XVIII sec. Oggi i 40.000 piedi quadrati di "casetta", rimasta intatta dopo la sua morte (1993), costituiscono un omaggio al suo gusto.