1938年1月1日中国共产党在徂徕山大寺发动了武装起义。起义部队命名为“八路军山东人民抗日游击队第四支队”，洪涛任支队司令，赵杰任副司令，黎玉任政治委员，林浩任政治部主任，下辖第一、第二两个中队。不久，泰安、莱芜、新泰、泗水、宁阳等县抗日武装相继奔赴徂徕山，第四支队迅速扩大。部队组建后，立即同敌人展开了英勇斗争。

1月26日，第四支队在徂徕山南的寺岭庄成功伏击一股日军，继又将俘获的原国民党新泰县长朱奎声处决，从而极大地打击了日军和汉奸的气焰。台儿庄会战期间，第四支队积极配合，在新泰西北的四槐树庄炸毁敌大小汽车2辆，毙敌大佐以下40余名，我军无一伤亡。在斗争中，第四支队不断壮大，迅速扩编为7个中队。

中共中央对鲁中地区的抗日斗争非常重视，1938年1月，中央在给省委的指示信中指出：

“省委工作的中心应当放在鲁中区，开始依靠新泰、莱芜、泰安、邹县的工作基础，努力向东发展，尤以莒县、蒙阴等广大地区为重心。”根据中央指示，2月底省委决定第四支队在新泰县刘杜村分两路活动：洪涛、林浩带领第一、三、四中队编成的第一大队，向淄川、博山、长山一带发展；黎玉、赵杰等带领第二、五、七中队编成的第二大队南向蒙山、费县、沂水一带发展。此后两路部队得到进一步扩大，到4月下旬发展到4000余人。4月28日，第二大队奇袭莱芜城，活捉顽固县长谭远村，缴获大批武器弹药。接着，两路部队在莱芜城胜利会师，并改番号为“山东人民抗日联军独立第一师”，下辖3个团。此后不久，部队又返回徂徕山一带活动。

1938年5月，中央为加强对山东领导，派以郭洪涛为首的50多名干部，携电台两部，辗转到达徂徕山区。根据中央关于山东“基干部队可恢复八路军游击部队番号”的指示，于6月初撤销“独立师”番号，恢复“八路军山东人民抗日游击队第四支队”的番号，并由廖容标继病逝的洪涛任支队司令。

7月，林浩率省委和四支队机关及部分部队东去岸堤、坦埠一带开辟沂蒙山区根据地；郭洪涛率第二、三两个团南下滕县东部支援苏鲁人民抗日义勇队反击国民党土顽势力的斗争；第一团仍留在泰山区活动。不久，第四支队各路部队在岸堤一带会师，集中力量创建以沂蒙山区为中心的抗日根据地。