抗日战争时期，中国共产党领导的在安徽省中部和东部地区开展游击战争、开辟敌后抗日根据地的新四军主力部队之一。

1938年春，根据国共两党关于编组新四军的协议，原活动在鄂豫皖边的红军第28军和鄂豫边红军游击队，改编为新四军第4支队。高敬亭任司令员，林维先任参谋长，萧望东任政治部主任（后戴季英）。下辖第7、第8、第9团和手枪团。全支队共3100余人。

1938年3月，第4支队各部在皖西霍山县流波疃会合。4月，展开于皖中舒城、桐城、庐江、无为地区，开展抗日斗争。5月12日，取得在巢县（今巢湖）东南蒋家河口伏击日军的胜利。接着，连续取得大小关、范家岗、棋盘岭等战斗的胜利。10月，进行庐江、无为战斗，打开了庐无地区的抗战局面。

1939年5月，新四军江北指挥部成立，第4支队归其指挥。6月，高敬亭被错杀，第4支队随即进行整编，江北指挥部副指挥徐海东兼任支队司令员（后张云逸兼），戴季英任政治委员（后郑位三），下辖第7、第9、第14团，后开创了以定远东南藕塘为中心的津浦路西抗日根据地。同时，以第8团为基础，组建新四军第5支队。12月，第4支队挫败了日伪军2000余人对周家岗、古河等地的“扫荡”。

1940年1月，第4支队归中共中央中原局领导。3月，第4支队与第5支队协同作战，在新四军苏皖支队和挺进纵队的支援下反击国民党顽军的进攻，取得定远战斗的胜利，旋又取得来安半塔集保卫战的胜利。8月，第4支队一部协同第5支队开辟了淮安、宝应新区，打通了与南下的八路军第5纵队的联系。

1941年1月皖南事变后，第4支队改编为新四军第2师第4旅，第5支队改编为该师第5旅。