民国22年，药水弄清真寺乡老马义芳、马天亮、马少生、李玉书等集资创办，校址在劳勃生路(今长寿路)梅芳里100号。初期为豫德堂识字班，后定名沪西回教平民小学。马天英任校长，招商局金利源码头栈经理李云生任校董事长。由于李云生私人捐款资助该校，改善办学条件，扩大招生名额，于民国24年改校名为云生小学校。民国26年，因受八一三事变影响，学校一度被迫停课。后经校董马天亮、谢克、马少生、李玉书、马义芳等努力集资，在普陀路235号建造新校舍。

民国29年，新校舍落成，学校开学，招生200余人。次年，太平洋战争爆发，日军侵入租界，学校再度停课。民国36年，学校复课，改名为兴建小学校。校长谢克，教导主任马人斌。建国以后，政府拨款教育补助费，帮助学校继续发展。1953年，更名回民小学校，校长马人斌。1957年，政府拨款在西康路新建校舍，同时，调整充实师资力量，扩大招生名额，并由普陀区教育部门接管，改名普陀区回民小学校。