荣建绪，荣毗兄，北平无终人也。性甚亮直，兼有学业。仕周为载师下大夫、仪同三司。及平齐之始，留镇邺城，因著《齐纪》三十卷。建绪与高祖有旧，及为丞相，加位开府，拜息州剌史。将之官，时高祖阴有禅代之计，因谓建绪曰：“且踌躇，当共取富贵。”建绪自以周之大夫，因义形于色曰：“明公此旨，非仆所闻。”高祖不悦，建绪遂行。开皇初来朝，上谓之曰：“卿亦悔不？”建绪稽首曰：“臣位非徐广，情类杨彪。”上笑曰：“朕虽不解书语，亦知卿此言不逊也。”历始、洪二州刺史，俱有能名。