皖南事变发生的三个月前，陈毅按照延安的命令，率领新四军江南纵队渡江北上，挺进苏北地区，同驻守于此的国民党韩德勤部发生正面冲突。1940年10月初，陈毅和粟裕率军攻占了黄桥和姜堰，并击退了数万兵力的包围，国民党第八十九军军长李守维溺死在八尺沟。国民党在整个抗日战争期间一共阵亡了10个师级以上的高级军官，分别是两个集团司令和八个军长。此役就打死了国民党的一个中将军长和一个中将旅长。黄桥被新四军占领，不过很快便被国民党军队夺回。

1940年 10月19日，国民党军事委员会正、副参谋长何应钦、白崇禧致电朱德和彭德怀，发出最后通牒，限期一个月，要求八路军、新四军开赴黄河以北。同时，何白二人密令汤恩伯、李品仙以及顾祝同准备向新四军进攻——这是对之前新四军在黄桥的军事打击进行报复。

蒋介石的目标很明确，把八路军和新四军驱赶到黄河以北的冀察（河北和察哈尔）两省，限制共产党的军事扩张即可。采取军事手段从根本上解决问题，并非他此时想达到的目的。

1940年11月下旬，经中原局书记刘少奇建议，毛泽东批准，华中指挥部实施对苏北曹甸的战斗，力图一鼓作气解决韩德勤在在苏北的力量。11月29日，曹甸战役打响。

叶挺担心曹甸一战会给新四军总部带来不利影响，当天就请示中央：“苏北动作能否延至我安全北渡之后？” 毛泽东复电说：“苏北动作无关大局。顾祝同（新四军直接领导）可能会叫几下，你们敷衍一二。北渡是让他们一步，以大局观，蒋、顾不会为难你们。现在开始分批北移，十二月底移完不算太迟。”

三天后，国民党军令部作出激烈反应，要求汤恩伯部迅速东进增援曹甸。何应钦则进一步批示：“可令汤恩伯东进，但仍恐缓不济急。故对在江南之新四军不准由镇江北渡，只准由江南原地北渡。或另予规定路线，以免该部直接参加对韩德勤部之攻击。若江北共军竟敢攻击兴化，则第三战区应将江南新四军立予解决。”

12月9日，蒋介石发电：“限令黄河以南八路军新四军，至1940年12月31日前必须开到黄河以北地区；长江以南新四军限于1940年12月31日前开到长江以北地区，并于1941年1月31日前撤到黄河以北地区。”

12月10日，曹甸战役炮火连天，蒋介石给顾祝同发出特急电报：

（一）察苏北匪伪不断进攻韩德勤部，为使该军江南部队（新四军）不致直接参加对韩部之攻击，应不准其由镇江北渡，只准由原地北渡，或由该长官另行规定路线。

（二）该战区对江南匪部，应照前定计划，妥为部署。如发现江北匪伪竟敢进攻兴化，或至期限该军仍不遵令北渡，应立即将其解决，勿再宽容！

12月16日，曹甸战役因八路军、新四军无法取胜而草草收场。

受此鼓舞，国民党军方领导人想在军事上彻底解决中共威胁的愿望愈发强烈。何应钦直接上书蒋介石，要求第三战区应准备“立即将江南新四军予以解决”。胡宗南干脆拟定了进攻中共“首都”延安的作战计划，并密电蒋介石，要求蒋乘正面敌情“甚和缓”之机，“调整战略配置”，增调部队到陕甘，以“应付非常事变”。白崇禧扬言：“此次对于军事已有把握，不至再败”，并力主由第三战区和皖北桂系军对皖南新四军实施南北夹击。