菏泽市第二小学前身为冀鲁豫边区二专署直属革命子弟学校，1948年10月由郓城赵楼迁菏泽城，校址为考棚街路西，有学生50余名。1949年改名为菏泽城关镇第二完全小学(简称二完小)，通过考试，招收一至六年级学生6个班，每班40人，在校学生约300人。校址逐步扩大为西院、南院、西南院、东院四个校院。至1958年学校扩大为18个班，专职教师30余人，学生升学率达90％。1962年被确定为省重点小学，推行“五年一贯制”。至1966年，共20个班(含两个幼儿班)，在校学生800余人。

1966-1976年“文化大革命”期间，该校实行九年一贯制，从幼儿园到九年级，全校共有22个班，在校学生1320余人。当时学校虽然坚持了上课，但学工、学农、学军、宣传等活动很多，还实行“工教对流”，即工人来校教课，教师到厂劳动锻炼，半年轮换一次。大大削弱了文化课的教学质量。

1978年省教育厅下文恢复该校为省重点完小，裁撤中学班，实行“五年一贯制”，到1985年全校一至五年级共24个班，有学生2373名，另附设幼儿班5个，每班幼儿80-100名，共400余名。该校办学成绩显著，升学率高达90％以上。1982年被评为山东省少年儿童工作先进集体。以后又被评为山东省文明单位和山东省教书育人先进集体。