1937年11月，中共山东省委派李仲林、邵德孚等到鲁东南地区开展抗日救亡运动，发动抗日武装。从1937年冬到1938年初，沂水、莒县相继出现共产党员或爱国人士以各种名义组织起来的群众性抗日武装。

1938年2月底，按照省委指示，沂、莒两县游击队员共约500人，正式编为“八路军山东抗日游击队第四支队第六大队”，抗大毕业生鲁滨任大队长，邵德孚任党代表，李仲林任政治部主任，下辖3个中队和1个特务中队。

4月底，鲁滨调省委，另派红军干部罗积伟、吴坤分任正、副大队长，杨昆任政委。

6月，部队进驻莒南垛庄、岳家沟一带，改番号为“八路军山东游击第二支队”，罗积伟任司令，吴坤任副司令，杨昆任政委。

不久，省委派景晓村、刘涌来鲁东南，在大店成立鲁东南特委，景晓村任书记。同时，第二支队也进行整编，刘涌任司令员，景晓村兼任政委，李仲林任政治部主任，邵德孚调回沂水县，筹建地方党的机构。整编后，第二支队辖2个营，1个特务连，共700多人。不久部队又收编了日照黄墩乡的地主武装朱信斋部300余人。10月，第二支队开往诸城，打下了瓦店、朱解两个伪据点，在诸胶边活动。后又进驻胶县泊儿镇，向诸城、日照及其外围敌伪军开展军政攻势，年底编为“八路军山东纵队第二支队”。