上海第二教育学院的前身是上海市工农教师进修学校，创建于1974年。1974年4月，为适应当时大量建立的七 · 二一工人大学（包括七 · 二一农业大学）的师资培训进修的需要，市革会文教组和市教育局在原上海水产学院的校址军工路334号（当时水产学院已迁往厦门），开办上海市工农教师进修学校。学校直属教育局党委领导，1974年10月任命李自明为教育革命组组长，徐月敏为副组长。1975年5月经局党委批准，建立“中共上海市工农教师进修学校核心小组”，由刘任之任组长，韩妙根、余伯兴任副组长。1978年，上海教育学院恢复建制，工农教师进修学校被并入上海教育学院，作为该院的一个分部。1980年2月，成立分部领导小组，解光一任组长。1981年5月5日，上海市人民政府批准将上海教育学院分部改为上海市教育学院分院，殷保津任分院党委书记。校址由军工路迁到原育鹰中学校址——政法路195号。1983年，王茂荣任分院院长。1984年6月，上海市人民政府同意将上海教育学院分院改为上海第二教育学院。学院的主要任务是培养成人教育的教师和管理干部，同时培养既能从事教育工作，又能从事管理技术工作的复合型人才。1985年11月，国家教委准予上海第二教育学院备案，承认其学生学历，明确上海第二教育学院为一所独立建制的成人高等学校。1985年11月，刘德育任院党委书记。1991年1月，林维华任院长。1993年2月胡慧芳任党委书记。1995年3月，劳国敏任院长，林纬华为巡视员。1998年八月并入华东师范大学。