民国35年冬，汾州路清真寺乡老马忠勋、马孝瑜、米朝宗、杨万清发起募捐，创办伊光第二小学校。由于集资困难，办学经费不足，利用汾州路清真寺作课堂。仅办两个班级，学生20余人。该清真寺教长金耀祖兼任校长。

1955年，区政府拨款5万元，改善办学条件，在惠民路757号新建校舍，学校改建成6年制完全小学，改名杨浦区回民小学校。