贤明山的标志性建筑，是始建于明万历四十六年（1618年）的联魁塔。这座距今390年的高塔，塔身全部用大青石砌成，六面九层。底层每面阔2·63米，东西两面各有一门。第二层至第九层，每层对开两窗；塔顶作双覆盆，上加塔刹作四相轮葫芦顶。全塔统高23米，基础坚实，外观宏伟，是古塔建筑中石塔营造法式的代表作。现为省级文保单位。

联魁塔又名贤明塔、联奎塔，曾于清道光二年（1822年），在知县武新安的主持下重修。武新安《重修贤明山联奎塔记》叙其始末，说他初见此塔，“见危石岩岩欲坠，不得上，即心欲新之。”到壬午岁，筑学山精舍，延师课多士馆，开门见山而塔之与接。“日家谓塔居离宫有文明象焉，宜新之；形家谓塔如卓笔横扫千军锋须锐焉，宜新之；望气者又谓为国培才必先培其钟灵秀者，宜新之。”武氏虽不信日家之流，但作为地方官的责任，“塔虽圯而未废，张而相之可也”，于是“庀材鸠工，谋所以治之”，是役得到乡绅百姓的大力支持，于道光壬午年（1822年）六月动工，“阅月告成”。塔修耸一新后，武氏“抉藓读塔中石，始知塔名‘联奎’”，奎星经文纬武，知前贤立是塔意深且远，乃“祝此邦之人文蔚起，炳炳琅琅，联珠联袂，干青云直上者”， 又“拾级而登，为左右望，见环登皆山，环山见蓬蓬佳气”，想到新城的年轻俊秀们刻苦攻读后，能成为国家栋梁之材，然后“法雁塔故事”，在此塔内“勒名青玉”，忍不住仰天大笑。