三山会馆始建于清宣统元年(1909年)，由福建旅沪水果商人集资兴建，是同业用于讨论商务祭祀天后的地方。“三山”由旧时福州城的“越王山、九仙山、闽山”而得名。

三山会馆是沪上唯一保存完好对外开放的晚清会馆建筑，也是上海工人第三次武装起义唯一保存下来的遗址，整幢建筑别致秀丽，雕梁画栋，富有艺术价值，1959年被列为市级文物保护单位。

1986年因市政工程建设，三山会馆南移三十米重建，1989年修复对外开放。中国2010年上海世博会举办之际，一座以展示上海会馆 “兴衰史”为主题的陈列馆在三山会馆拔地而起，成为城市发展的见证。三山会馆现为上海市爱国主义教育基地和上海市红色旅游基地。