位于西城区中部。东起西四南大街，西至太平桥大街。以明代兵马司在此而得名。

《明史·职官志》称：兵马司“指挥巡捕盗贼，疏理街道、沟类及囚犯，火禁之事，凡京城内外，各划境而分领之”。明清年间，北京的东西南北中五城皆设有兵马司，外城也设有兵马司。在今日之北京地名中，称之为“兵马司胡同”者有三处，在外城者有南兵马司，位于宣武门外菜市口。在北城者，有北兵马司，位于安定门内交道口。在西城者即昔日之西城兵马司，位于丰盛胡同与大院胡同之间。其辖区范围大体是今北京市西城区的城垣之内的南半部，东起西安门，西阜成门南北顺城街，南起宣武门东西顺城街，北至今平安大街。今平安大街以北的地区性，从前归北城兵马司管辖。

兵马司的设置始于明朝永乐二年（1404）为正五品衙门，各设指挥官一人，吏目一人，兵若干人，马若干匹。清朝顺治元年（1644）沿袭明制设官与明代同。明代的兵马司隶属于兵部。清代的兵马司隶属于都察院。据说，兵马司初设时，街区凡有水火盗贼及人家细故之或须闻之官者，皆可一呼即应，救火、巡夜，清廉为政，不取分文。但是到后来日久弊生，始而捕盗，继而讳盗，终且取资于盗，同盗合污，不得人心。光绪十六年（1890）就有大臣向皇帝禀奏，“京城地面捕务不力，请饬整顿”。光绪二十七年（1901）撤销五城兵马司，成立工巡局。光绪三十一年（1905）九月撤销工巡局，成立巡警部。北京设置警察总厅和内外城警察厅。此为北京警察设置之始。至宣统末年，北京设置派出所，当时，内城有二百零四个派出所，外城有一百三十六个派出所。