杨荣绪，字黼香，广东番禺人。咸丰三年进士，选庶吉士，授编修，擢御史。英法联军犯京师，驾幸热河，荣绪与同官抗疏请回銮，又劾参赞国瑞骫法营私，风裁颇著。

同治二年，出为浙江湖州知府。粤匪据湖州四年，时甫克复，荒墟白骨，阒无人烟。荣绪置善后局，规画庶政，安集流亡，闾阎渐复。属县粮册无存，荣绪招来垦辟，试办开徵，岁有起色。湖蚕利甲天下，经乱，桑尽伐，课民复种，贫者给以桑苗，丝业复兴。郡称泽国，汇天目诸山之水入太湖，乌程、长兴境内旧有氵娄港，各三十六，以为宣泄，乱后多淤塞。

五年，荣绪奉檄开濬，至八年粗毕，乌程氵娄港尤易淤，赖设闸以御湖水之倒灌。九年，重修诸闸，因经费不充，频年经营，犹未尽也。十年，内阁侍读学士锺佩贤疏陈其事，朝命大加濬治，时荣绪举卓异入觐，宗源瀚代摄郡，源瀚亦能事，规画举工。及荣绪回任，集丝捐，得钜款，以资兴作。屏去傔从，轻舟巡验，常驻湖滨，逾年工始竣。以氵娄港旋开旋淤，议定分年疏濬之法及铲芦、捞浅、闸版启闭章程，数十年遵守不辍。又开碧浪湖，疏北塘河及城河。葺学校，建考舍，修书院，建仓库，造桥梁，复育婴堂，百废具举。鞫狱详审，吏胥立侍相更代，终日无倦容。亲受讼牒，指其虚谬，曰：“勿为胥吏所用也。”手书牒尾，辄数百言，剖析曲直，人咸服之。讼以日稀，刑具朽敝。隶役坐府门，卖瓜果自活。客坐无供张，俭素如布衣时，远近颂为贤守。在任十年，嗣为人所谮，遂求去。捐升道员，离任。寻卒。郡人思之，请祀名宦祠。

杨荣绪的作品《杨黼香先生遗稿》的钞本收藏于广东省立中山图书馆，其影印本收录于《清代稿钞本》中。