康熙第十二子允裪封履亲王。府址"在东角楼宽街",据《燕都丛考》载："今胡家园有四爷府"。因乾隆第四子永成过继袭爵,俗称四爷府。在今东直门内，前苏联使馆以西，针线胡同。

北京旗杆胡同地名很可能和胡同内的履亲王府和真武庙有关。履亲王府在旗杆胡同旁，康乾时，为履亲王府最盛时。王府的旗杆，加上寺庙的旗杆，多达十根，人们便称所在胡同为十根旗杆胡同。后府主的爵位下降，到咸丰时，履亲王府的主人只袭镇国公。再加上一次大火，王府被烧毁，变成一片荒烟蔓草。而地名一直流传下来。

据《道咸以来朝野杂记》载，该府邻于俄罗斯教堂。这个记载，点出了履亲王府与东正教堂在地理上的关连。历史上，履亲王府与东正教堂关系亦相当密切。

清康熙二十四年（1685年），清军对入侵的俄军进行了雅克萨战役，将俘虏及归顺的士兵和家属迁居北京，编入镶黄旗，安置于京城内东北角的胡家圈胡同。由于这批俄罗斯人信仰东正教，4年后，康熙帝赐一座关帝庙改建为东正教堂，称为罗刹庙，成为北京第一座东正教堂，后称圣·尼古拉斯教堂、北堂，俄国东正教廷还派来司祭等教职人员。光绪二十六年（1900年），在义和团运动中，东正教堂被烧毁。八国联军攻入北京后，与教堂相邻的履亲王府遭到破坏性报复，被烧毁。

2年后，用庚子赔款重建北堂。同时，将履亲王府（老四爷府）割让，允许教堂扩建。扩建后，改名为“致命堂”。教堂为拜占庭式建筑，平面呈十字架形，堂顶有5个带十字架的拱形堡。占地20万平方米，有237间房，主要由致命堂、钟鼓楼、中外书房、神父住宅及寡妇院组成。新中国成立后的1956年，此处改为苏联大使馆，原教堂建筑被拆除，同时在大使馆附近新盖一所小东正教堂。今为俄罗斯大使馆。其内仍保留着一组原为老四爷府的中式古建筑：面阔5间的北大殿，绿琉璃筒瓦庑殿顶；面阔3间的西殿，绿琉璃筒瓦顶。建筑上之吻兽为鸽形，为中式建筑中所罕见。