位于宣武区西北部。东起校场口胡同，西到下斜街。因位于老墙之下得名。

老墙根地名久远，一说它靠近辽代东城垣而得名，因发现过石基，上刻“辽开泰元年”等字。一说它是明代惜薪司南厂南墙根。清时将南厂拆除，南墙墙根正在现今的街上，形成一条街。街西口清时还有柴木厂，其南墙亦在现在的街上。

街中段南侧有玉虚观。民国时调查：建于乾隆年间，私建，房殿五十余间，日伪时期对患霍乱病的病人和尸体强行运此火化或运走。解放后改为日用化工厂（北京日化四厂）。