贵妃塔在南雄县珠玑巷南街“珠玑古巷”牌楼西侧，一座元代实心石塔叠于一口四方古井之上。石塔为平面八角形，共7层，用7块红色砂质岩雕刻成形，垒叠而成。石塔通高3.36米,底座直径1.2米,高24厘米。第一层高59厘米，为莲花座，上有八角柱体，柱体上刻有“四大天王”浮雕，并刻有“南雄路同知孙朝列重立，元至正庚寅孟冬纪”字样。第二层高38厘米。第三层高40厘米。第四层高40厘米。这几层均有莲花座。第五层高30厘米，塔身呈扁椭圆形。第六层高40厘米。第七层高35厘米。第六、七层呈圆柱形。塔身为莲花座鼓形，塔顶为宝葫芦，高30厘米。整座石塔共刻有36尊罗汉浮雕。这座石塔是广东省现存元代石塔中唯一有确凿年代可考的石塔，也是珠玑巷保存年代较久的文物，现已列为省重点文物保护单位。

贵妃塔的建造，记录了珠玑巷人一段悲惨的南迁历史。胡妃乃南宋度宗皇帝妃子，被奸臣贾似道所害。当时朝廷任贾似道为相，政治腐败。相传在咸淳八年（1272）八月，度宗皇帝到景灵宫去祭拜先皇之后，恰巧下起大雨来，贾似道要皇帝等到雨停后由他用大辂车接回宫。但是，胡贵妃的哥哥胡显祖已准备一部逍遥辇，把皇帝接走了，贾似道大怒，事后诬说胡显祖兄妹有夺权野心。度宗皇帝听信谗言，罢了显祖的官，并逼胡贵妃出宫为尼。后来，胡贵妃沦落为南雄珠玑巷富商黄贮万之妾。不料黄贮万的家仆告发，贾似道便启奏朝廷，诬说珠玑巷百姓要造反。于是朝廷决定派官兵围剿珠玑巷。这个事件史称“胡妃之乱”。消息传出，现玑巷的居民纷纷逃难。其中多数砍竹结排，顺浈水南下，一直漂流到珠江三角洲各地。珠玑巷附近58村村民恐遭祸延，也四处逃走。胡贵妃见此惨状，投井自尽。后人为纪念胡贵妃，在井上建塔。石塔7层，意谓“救人一命，胜造七级浮屠”。这是后人对胡贵妃的褒扬。现存的胡妃塔重立于胡妃死后77年。