环绣楼，又称环秀楼、望江楼、奎星楼、八角亭，位于湖南耒阳东南隅旧通津门（也称金牛门）处（今城区五一广场东南侧）。紧临耒水，与鸳鸯洲杜甫公园遥遥相望。 环绣楼始建于明洪武九年（1376），楼高四层约30米，底为八卦形，底层直径18米、周长约31米。最顶层用八柱支顶成盔式亭状，上缀四节彩色葫芦，八角是雕花飞檐雕兽，飞檐悬铃，楼吊盆式顶，角檐下彩绘人物、山水、瑞兽狮、鹿、麒麟、豹等，工艺精美，栩栩如生。由学士解缙书额。整座亭楼造型古雅美观，画饰华丽。楼内有梯可盘旋至顶层，各层楼八面都开花窗，可从不同角度摄入秀丽景色。楼体砖石结构，基座为红砂石砌筑，楼身砖砌，一至三层每面设窗，二至四层每层设平座，栏杆为漏空砖砌，第四层以八根大柱构成八角形亭式结构，攒尖顶，上覆小青瓦，檐角高翅，檐下设卷棚，楼体庄重秀丽。故写一联：

八角亭，八角铃，八角亭铃悬八角；

奎星楼，奎星阁，奎星楼阁藏奎星。

现存的环绣楼建筑是在明成化年间（1465-1475）由知县张时谨重修。清康熙五十八年（1719）再修；民国十八年（1929）、新中国成立后，先后于1965年、1972年、1995年按原样进行修葺。此外于1950年8月，耒阳县将民众教育馆改民并在环绣楼成立人民教育馆，内设书报阅览室，后迁出为图书馆、文化馆，1962年又从文化馆迁至环绣楼（八角亭）内，1974年再从环绣楼复迁出至蔡侯祠。

有《憩八角亭》诗云：

亦古亦香楼台阁，

是风是雨数春秋；

云烟欲迷大白旗，

紫霞纷扰子美舟。

月下把盏刘关张，

春仲吟诗桃李柚；

潮涨潮落浮沉世，

英雄何曾说过愁。