白鹿台在广东新兴县城南六公里的南塘村边，有一片面积一百八十多平方米的岗地，特别引起人们的注意，这便是公元前196年南越王赵佗部下所筑的白鹿台（俗称越王台或越王殿）旧址。据建国后文物普查，遗址还残存有汉代、唐代的布格纹板瓦碎片。

原来，早在秦代，新州（今新兴）地域一片荒凉，鹿、豹、老虎等野兽繁多，人烟稀少，被称为“南蛮之地”或“瘴疠之乡”。境内土人以打猎为生。公元前210年秦始皇驾崩，中原大乱，秦廷官员赵佗（河北真定人），先后任岒南龙川县令、南海尉事，赵以南海为基地，掠取桂林郡和象郡，继而自称为南越王。

汉帝十一年（公元前196年）他即率众到新州今县城以南六公里处狩猎，捕得白鹿一双，众将即筑台庆贺，故名“白鹿台”（也称越王台），至公元前137年赵佗病卒，公元前111年南越也被吞灭，当年始设临允县（今新兴县），因此，白鹿台遗址至今已有二千一百九十多年历史。