初名上海市中学教师业余进修学院。1953年12月中旬，学院借西藏路上的青年会举行了首届开学典礼。院长由市教育局副局长杭苇兼任，教务长由光明中学校长赵书文兼任。开设语文、历史、地理、教学、物理、生物六个教学班。借用光明中学教室。

1954年，调入黄健吾专职副院长。

1956年2月，教育部发函指出进修学院应当“属于高等学校范围”。同年，赵书文提升任副院长。

1956年8月，校址迁至淮海中路1045号三、四楼，并购进襄阳南路102号大礼堂。1957年，这里改为分部，总部迁往徐家汇天钥桥路100号。

1957年，黄健吾去职，陈光祖接任。

1960年春，根据上海市教育事业发展的需要，教育局决定筹建上海市教育学院，统一负责全市中学师资培训工作和干部培训工作。9月8日，由上海市中学教师进修学院、上海市教育行政干部学校、上海市干部文化学校和上海市自学广播学校合并而成的上海教育学院在中山北一路420号礼堂召开建院大会。

1998年9月，沪府（1998）36号文规定，上海教育学院、上海第二教育学院并入华东师范大学。

华东师范大学档案馆有上海市中学教师进修学院档案97卷。