宣武区图书馆创建于1956年，其前身为前门区图书馆。1959年上级机关将宣武区图书馆与北京市回民图书馆合并，同年，完成了对南横街文化站、广安门外文化站、牛街文化站、宣武区文化馆图书室、宣武工人俱乐部图书馆等单位的藏书和人员接收工作，并进行了机构调整，分六处开展图书活动。1960年以后，将部分文化站交由街道管理，至1964年，仅保留发宣武区图书馆一处馆舍。

当时的馆址在虎坊桥韩家潭胡同，占地面积900平方米，是个两进四合院及一个旁院。1980年经协商与教子胡同小学换房，馆址迁至教子胡同，占地面积1700多平方米，1996年在采编、外借部门实行计算机管理，标志着图书馆进入现代化管理的发展阶段。