A 5 km da Cao Bang si trova il tempio Ky Sam (Den Ky Sam), appollaiato su una collina. Il santuario è dedicato al capo della tribù Tay, Nung Tri Cao, che tentò di creare il regno indipendente del Dai Co Viet a metà dell'XI sec. La rivolta che ne seguì sconvolse la regione per 10 anni, con ripercussioni fino alle province cinesi del Guangxi e del Guangdong, e fu sedata solo con l'aiuto dell'esercito cinese. Nonostante il tempio sia stato ricostruito in epoca posteriore, rimane un edificio interessante per la caratteristica atmosfera da tempietto di campagna, con le decorazioni murali raffiguranti cavalli bianchi e rossi.