原址在江湾乡，为仿欧美新型综合性博物馆，民国26年1月10日正式开放，八一三事变时被日军炸毁。民国34年11月成立复馆筹委会，杨宽为馆长。民国35年1月迁入今四川北路1844号，5月复馆，开放金石、陶瓷、历史文献陈列室。民国36年1月举办“抗战文献展览”，展品5000余件，反映上海军民共同战斗的面貌。曾出版《上海市立博物馆藏印》、《文物周刊》等书刊，主持对市郊戚家墩等遗址发掘工作。

解放后，改名上海市历史博物馆。1951年11月,并入上海博物馆筹备处，迁址河南南路16号。