胶东半岛是我党工作基础较好的地区之一。1937年12月，日军从海上登陆进攻青岛、烟台等地，胶东地区形势紧张，原胶东特委书记理琪，立即在文登县召开特委扩大会议，决定发动抗日武装起义。

1938年1月19日成立了“胶东军政委员会”，理琪任主席，吕志恒任副主席。同时成立“山东人民抗日救国军第三军”，理琪兼任司令，林一山任政治部主任，下辖2个大队、1个特务队。

掖县在1937年冬也组建了一批群众武装，并与该县国民党员赵森堂的一支武装联合成立“掖县民众抗敌动员委员会”。1938年1月县委又先后争取了全县10个区的大部分区队。3月8日，各路部队汇聚于掖县城北的玉皇顶，翌日攻克掖县城，俘伪县长刘子容及其保安队、警卫队全部。“掖县民众抗敌动员委员会”改名“胶东抗日游击第三支队”，郑耀南任支队长，张加洛任政治部主任，赵森堂任参谋长。

1938年5月6日，平度国民党顽固分子张金铭在第三支队拒绝为其改编后，勾结招远、栖霞、莱阳等县土顽部队，悍然进攻第三支队。由山东人民抗日救国军第三军、八路军鲁东游击队和第三支队组成“胶东抗日联军”，在夏邱堡一带击溃了顽军主力，消灭张金铭部200余人。

9月18日，根据省委指示，第三军与第三支队合编为八路军山东人民抗日游击队第五支队，至此党在胶东各地发动、领导的抗日武装统一起来了。

整编后，司令员高锦纯，政治委员宋澄，参谋长赵锡纯，政治部主任宋竹庭、于眉。

第五支队辖５个团：

第五十五团（由第三军第二、第三路及第三支队各一部编成），团长李华（回东）；

第六十一团（由第三军第一、第二路各一部编成），团长赵一萍，政治委员刘仲华；

第六十二团（由第三支队编成），团长郑耀南，政治委员李耀文；

第六十三团（由第三军第三、第四路各一部及莱阳起义武装编成），团长于得水，政治委员张玉华；

第六十四团（由鲁东第七、第八支队各一部编成），团长陈龙飞，政治委员翟瑞甫。

１１月，第五支队改编成３个旅。

第十九旅由第五十五、第六十一、第六十三团编成，旅长高嵩，政治委员宋竹庭，参谋长王瀛洲、政治部主任李丙令；

第二十一旅由第六十二、第六十四团编成，旅长郑耀南，政治委员李耀文，政治部主任张加洛；

第二十五旅由１９３８年９月投诚的国民党栖霞县警备队刘万岭部编成，旅长刘万岭，政治委员柳运光。

1938年年12月改编为八路军山东纵队第五支队。