卢沟桥事变后，中共山东省委为开展长山一带的抗日救亡运动，派姚仲明和廖容标去长山中学任教，争取当地进步人士长山中学校长马耀南，发动群众，进行抗日。12月下旬，日军进攻周村，长山形势突变，党组织认为时机已到，集合了百余人的队伍，于12月26日宣布成立“山东人民抗日救国军第五军”，27日第五军军旗插上黑铁山之颠，廖容标任司令员，姚仲明任政委，马耀南任参谋长，赵明新任政治部主任。

1938年1月8日，廖容标率部夜袭长山县城，摧毁伪维持会，俘伪公安局长等30余人，缴获枪支弹药一批。19日，在小清河陶唐口附近伏击日军汽艇1艘，击毙日军青（岛）烟（台）潍（县）司令松井山村一行12人，缴获电台1部，国民党中央广播电台播发了这次胜利的消息。2月5日，在邹平县三官庙粉碎了来自周村、邹平等地敌人的报复性进攻，激战竟日，毙伤敌伪军近百名。4月初，第五军为配合台儿庄会战，对胶济铁路西段和张博铁路支线实行大破袭，炸毁日军军车7列，并攻入淄川县城，捣毁淄川县伪维持会。

至1938年4月，五军队伍扩大到5000人之众。经过统一编制，组建成七个支队，下辖30个中队。其中第一支队司令员马天民是马耀南的三弟，第七支队司令员马晓云是马耀南的二弟。因而，在抗日战争中鲁北地区人民皆称之为“一马三司令”，并广为流传着称颂马家三兄弟的歌谣：“一马三司令，得了抗日病。齐心打日本，保卫老百姓。”同年4月，郑兴率山东人民抗日救国军一部百余人加入第五军， 郑兴任参谋长。

1938年7月，根据中央指示和省委决定，第五军改番号为“八路军山东人民抗日游击第三支队”，马耀南任司令员，杨国夫任副司令员，姚仲明任政委，辖第七、八、九3个团和1个营。8月13日，为配合武汉会战，第三支队一部联合邹（平）章（丘）齐（东）抗日义勇军向日伪军盘踞的济南发动进攻，在黄台桥、青龙桥、西关、南关等处与敌人展开激战，一度攻至普利门附近。此役共毙伤日伪军近千人，受到国民党大本营的通令嘉奖及各大报的赞誉。同年底，第三支队改编为“八路军山东纵队第三支队”。