1921年8月11日，中国共产党在上海成立了领导工人运动的总机关——中国劳动组合书记部。

为了贯彻党的“一大”提出的党在当前的中心任务是组织工人阶级，加强党对工人运动的领导的精神，党中央在中国产业中心——上海，成立了中国劳动组合书记部，张国焘为总主任，毛泽东为湖南部主任。

张国焘等在《共产党》月刊上发表成立宣言。劳动组合书记部出版了指导工人运动的刊物《劳动周刊》，发表了《中国劳动组合书记部宣言》。

1922年，总部由上海迁到北京，主任改为邓中夏，改《工人周刊》为机关刊物。主要活动是对工人进行宣传教育，组织工会，领导工人开展罢工斗争。初期以铁路工人为工作重点。

1922年5月1日，中国劳动组合书记部在广州召开了第一次全国劳动大会。

会议通过了共产党提出的“打倒帝国主义”、“打倒军阀”的口号和罢工援助、1925年5月1日，中国劳动组合书记部在广州召开了第二次全国劳动大会。会议通过了工人阶级与政治斗争、经济斗争、组织问题、工农联合等30个决议案，成立了中华全国总工会。至此，中国劳动组合书记部完成了自己的历史使命。