1955年9月，市教育局根据教育部指示精神，开始筹建。1956年2月16日正式开学，校址在梵皇渡路（今万航渡路）435号。同年5月成立党总支，陈枫任总支书记。9月，市教育局副局长江亚民兼任校长，吴伟任代理副校长。学校以轮训中小学校长、支部书记、教导主任和教育局的视导员、科员等普教系统干部为主要任务。

1960年春，根据上海市教育事业发展的需要，教育局决定筹建上海市教育学院，统一负责全市中学师资培训工作和干部培训工作。9月8日，由上海市中学教师进修学院、上海市教育行政干部学校、上海市干部文化学校和上海市自学广播学校合并而成的上海教育学院在中山北一路420号礼堂召开建院大会。

1998年9月，沪府（1998）36号文规定，上海教育学院、上海第二教育学院并入华东师范大学。

华东师范大学档案馆有上海市教育行政干部学校档案88卷