段家祠堂位于当年的合肥淮河路上，建于民国初年。严格地说，段家祠堂庞大的建筑群实际上分为调堂、公馆（住宅）、花园三部分，西至今第一人民医院，北迄今合肥工业大学北区，共占地200多亩。祠堂三进九大间，琉璃瓦、风火墙、飞檐斗拱、雕梁画栋。跨过山门，过天井院，祭把大厅高悬"百世其昌"、"再造共和"、"国家干城"匾额。厅西壁嵌石明确标示段氏家祠为段芝贵所建。段芝贵别号"小段"，其地位次于段祺瑞而辈分高于段祺瑞，故有"小段不小，老段不老"之说。祠堂天井院西墙有月门通往公馆区和花园。整个建筑群据说共用去6万多块银元。不幸的是，段家调堂1974年毁于大火。灾后重建办公、宿舍楼，原在段家祠堂南边办公的新华社安徽分社搬了过来。其西边的四合院式住宅建筑，1985年7月被公布为市级文物保护单位，但终在90年代初被拆除盖了单位宿舍楼。