１９３８年３月９日，中共掖县县委组织领导的抗日武装，组成胶东抗日游击第三支队。支队长郑耀南，副支队长周亚泉，参谋长赵森堂，党委书记兼政治部主任张加洛。

１９３８年２月，胶东军政委员会开始整编各地起义武装，将３个主力大队编为三军第一路；蓬莱的抗日武装为第二路；文登、荣成、牟平、威海的抗日武装为第三路；黄县的抗日武装为第四路；即墨、莱阳、招远等地起义武装分别编为大队。掖县的第三支队名称不变。

５月，第三军第二、第四路与马保三率领的八路军鲁东抗日游击第七、第八支队会师黄县，组成抗日联军。指挥马保三，政治委员林一山，参谋长赵修德，政治部主任宋澄；前敌指挥部指挥韩明柱，政治委员张加洛，副指挥郑耀南。　９月１８日，第三军、第三支队统一整编为八路军山东人民抗日游击第五支队

胶东半岛是我党工作基础较好的地区之一。1937年12月，日军从海上登陆进攻青岛、烟台等地，胶东地区形势紧张，原胶东特委书记理琪，立即在文登县召开特委扩大会议，决定发动抗日武装起义。24日，以第二次国内革命战争时期保存下来的昆嵛山红军游击队为基础，在文登、荣成、威海边界天福山举起义旗，成立了“山东人民抗日救国军第三军第一大队”，于得水任大队长，宋澄任政委。30日，第三军第一大队在文登县岭上村遭到国民党文登县长李毓英部数百人围攻，宋澄等谈判代表被逮捕，于得水率余部突围，起义暂时受挫。

1938年1月，理琪等赴威海，领导了威海起义。随后“岭上事件”中突围的部队和被捕越狱的干部战士陆续赶来，队伍迅速扩大。为适应部队发展的需要，19日成立了“胶东军政委员会”，理琪任主席，吕志恒任副主席。同时成立“山东人民抗日救国军第三军”，理琪兼任司令，林一山任政治部主任，下辖2个大队、1个特务队。2月13日，理琪亲率第三军，长途奔袭牟平城，俘伪县长以下百余人。当日下午，又与烟台来援的日军激战于牟平城南的雷神庙。战斗中理琪中弹牺牲。

除天福山、威海起义外，胶东其他各地抗日武装也风起云涌，其中规模较大的是蓬莱、黄县和掖县的3支武装。

蓬莱于1938年2月3日成立第三军第三大队，于仲淑任大队长，于眉任政治部主任，不久改为第三军第二路，下辖2个大队，350多人。3月4日、18日两次进攻蓬莱县城，俘伪县长、警察局长等200余人。此后部队扩大到10个大队，近2500人。

黄县于1938年1月初建立第三军第三大队（蓬莱黄县的部队番号一度相同）。2月中旬，在保证军需供给和独立发展的条件下，编为国民党黄县县长王景宋部第二支队。后因王部抗日不足、扰民有余，乃配合八路军鲁东抗日游击第七、八支队，将该部近千人缴械改编。原第三大队400余人编为第三军第四路，李希孔任指挥，陈迈千任政委，仲曦东任政治处主任。

掖县在1937年冬组建了一批群众武装，1938年1月县委又先后争取了全县10个区的大部分区队。3月8日，各路部队汇聚于掖县城北的玉皇顶，翌日攻克掖县城，俘伪县长刘子容及其保安队、警卫队全部。“成立“胶东抗日游击第三支队”，郑耀南任支队长，张加洛任政治部主任，赵森堂任参谋长。

5月6日，平度国民党顽固分子张金铭在第三支队拒绝为其改编后，勾结招远、栖霞、莱阳等县土顽部队，悍然进攻第三支队。由山东人民抗日救国军第三军、八路军鲁东游击队和第三支队组成“胶东抗日联军”，在夏邱堡一带击溃了顽军主力，消灭张金铭部200余人。

9月18日，根据省委指示，山东人民抗日救国军第三军与第三支队合编为山东人民抗日救国军第五支队，高锦纯任司令员，宋澄任政委，下辖3个旅、6个团，至此党在胶东各地发动、领导的抗日武装统一起来了。