1938年9月，根据周恩来、叶剑英等将工作重心移向豫东，开创豫皖苏鲁边区的指示，中共河南省委军事部长彭雪枫于9月底率300多人的游击部队从确山县竹沟誓师东征，10月与萧望东、吴芝圃的部队于杜岗会师，整编成立新的游击支队，彭雪枫任司令员兼政委。并确定部队的发展方针是继续东进敌后，打击日伪，消灭土匪武装，发展与扩大抗日力量，建立敌后抗日根据地。

1939年6月，彭雪枫率部队东进淮上地区，成立了淮上行署，辖宿蒙、怀远、凤台3个县政府。1939年11月，中原局书记刘少奇抵达涡阳新兴集，传达了中共中央关于放手创立抗日根据地的指示，提出今后要健全豫皖苏省委，发展地方党，集中力量创建永（城）、夏（邑）、萧（县）、宿（县）根据地。随后，豫皖苏抗日民主政权——豫皖苏边区联防委员会成立；同时成立边区参议会。各地抗日民主政权也相继建立，到年底，豫皖苏抗日根据地已初步规模，成立了比较健全的豫皖苏边区党委，建立了永城、夏邑、萧县、宿西、亳北5个县政权。第六支队（游击支队改称）也得到迅猛发展，成为拥有3个主力团、1个特务团、4个总队和3个独立团，计1．78万余人的抗日劲旅。

豫皖苏抗日根据地的创建引起国民党的恐慌。1940年初，国民党顽固派纠集大批兵力向豫皖苏根据地进攻。为遏制顽军的倒行逆施，中共中央命令八路军黄克诚部南援华中。6月，黄克诚率部抵达新兴集，与新四军第六支队合编为八路军第四纵队，彭雪枫任司令员，黄克诚任政委。不久，八路军第四纵队分编为第四、五纵队。9月黄克诚率五纵队东进皖东北地区，执行向东发展的任务；彭雪枫于9月初率四纵主力第二次进入淮上地区，执行向西防御的任务，并创建了淮上根据地。此时，豫皖苏抗日根据地东起津浦铁路，西至新黄河，南跨涡河，北达陇海铁路的广大地区，面积为1万多平方公里，人口约300万。到1940年底，豫皖苏边区党委辖淮上、涡浍、陇海路南、豫皖和睢（县）杞（县）太（康）5个地委，2个专署、5个县政府和6个办事处。

1940年6月1日，日军1000余人乘六支队在新兴集举行五卅纪念大会之机，分数路偷袭会场。彭雪枫沉着指挥，指战员勇猛出击，打得日军狼狈不堪，于当日黄昏仓皇败退。1940年11月，日军对涡（阳）蒙（城）地区进行“扫荡”。八路军第四纵队在蒙城板桥集与日军激战，歼敌400余人。在八路军四纵奋战淮上时，根据地中心永城一带较为空虚，国民党反动派策动豫皖苏边区保安司令耿蕴斋、六旅副旅长兼第十八团团长吴信容、第十七团团长刘子仁叛变（史称“耿吴刘事件”），给后来的斗争带来恶劣影响。

1941年1月下旬，日军发起豫南战役，沿涡河西进。国民党军队败退，八路军四纵队西进收复失地。2月，日军突然撤回原防。国民党军队乘机对新四军四师（皖南事变后八路军四纵改建制为新四军四师）发起进攻，新四军四师被迫进行自卫，就是历史上著名的豫皖苏边区自卫作战。奋战3个月。后，根据华中局指示，于5月撤入皖东北。至此，豫皖苏抗日根据地除睢杞太和萧县部分地区有共产党地方组织及武装力量继续坚持斗争外，其余地区全被国民党军占据。