民国36年，伊斯兰教界知名人士金幼云、谢克等创办崇本小学校，校址在小桃园清真寺内。建校初期，有6个班级，100余名学生。由金幼云、谢克、答容川、杨叔平、王治平、李鹄成等组成校董会，金幼云为董事长，谢克任校长。

解放以后，人民政府帮助该校建成6年制完全小学。1952年，校长谢克调东北工作，由金敏(女)继任校长，改名邑庙区回民小学校。1963年，区政府拨款在文庙路81号新建校舍。同年，蓬莱、邑庙两区合并为南市区，该校迁入新址，改名南市区第二回民小学校。