3月初，在蒙城以南的半壁店、罗集战斗中，十旅二十九团损失较大。
4月上旬，在永城西南的万楼战斗中，我12旅34团的一个营以牺牲126人的代价完成了掩护12旅主力部队转移的任务，保存了新四军的实力。万楼阻击战是在顽我兵力过分悬殊情况下进行的，1营130多名指战员虽然绝大部分牺牲了，但他们打出了军威，在百倍强敌面前不气馁、不畏缩，坚守万楼阵地一天，打死打伤顽军500余名，阻滞了顽军的尾追，成功地完成了掩护12旅主力部队转移的任务。
由于当时大形势与我不利.
1941年5月，新四军第四师被迫撤往津浦路东。
1941年4月下旬，新四军第4师与青海骑8师马彪激战于宿县以南的大小营集，第4师5000多名官兵死于马刀之下，著名的老32团几乎被打光，最令人痛惜的是新四军抗日干校的200多名学员，在此战中全部牺牲。
这时，反共军的进攻更加凶猛，叛军、地方土顽更加猖狂，敌伪与反共军相配合，对我的袭击与“扫荡”也更加频繁。作战失利，人心不稳，部队疲劳，给养奇缺，根据地中心区被敌侵占，我军的处境已十分困难。
1941年4月25日，华中局和新四军军部鉴于第4师的危急处境，并为照顾抗战大局，指示留一部分主力及地方武装坚持豫皖苏边区的游击战争，主力转入皖东北地区，巩固和扩大皖东北根据地。但由于形势的继续恶化，武装坚持已不可能，第4师不得不告别豫皖苏边区的广大群众，于5月份先后撤至皖东北地区。至此，艰苦创建的豫皖苏抗日民主根据地，除睢杞太及肖县的部分地区尚有党的组织和部分武装公开活动，永城等县党的组织转入地下活动外，其余全部丧失。
在3个月的反顽斗争中，豫皖苏边区的党政军民各机关部队共伤亡、失踪四千余人，撤到皖东北的不足万人，枪不足五千支。
第4师撤到皖东北后，遵照华中局的指示，于七月中旬在洪泽湖东岸淮宝地区之仁和集召开了军政委员会扩大会议，在新四军政治部主任邓子恢同志参加下，师长作了专题报告，认真总结与检查了反顽斗争失利的经验教训。这次会议，对于尔后巩固和扩大皖东北根据地有着十分重要的意义。
仁和集会议之后，邓子恢同志任第4师政治委员、淮北（即皖东北）区党高官，加强了党的领导。取消了第4师党政军委员会，改为中共新四军第4师党委会。在淮北区党委的领导下，成立了皖东北行政公署（后改为淮北行政公署），作为皖东北的最高行政机构，先后由刘玉柱、刘瑞龙同志任主任。工、农、青、妇等群众组织，也得到了巩固和加强。
第4师大力开展了建军和作战训练等项工作，进行整编，充实连队，将12旅两个团补充第10旅；以师特务团与11旅、12旅各一部成立“宿东游击支队”，开辟宿县地区的游击战争，吸取了平原作战的教训，成立了骑兵团，作为师的机动力量。
反共军汤恩伯集团，在侵占我豫皖苏根据地后，又妄图东犯我淮北及苏北根据地，江苏省顽主席韩德勤亦调动兵力接应汤恩伯部东进。
1941年7月，韩顽以保安第三纵队的两个团，侵占我淮海区泗阳县西北之陈道口，修筑工事，企图以此地为中心，控制运河两岸。我军为粉碎顽军东西对进的计划，决定攻占陈道口。
10月14日，我军在陈毅代军长亲临前线指挥下，以第3师7旅19团与山东教导第5旅攻歼该敌。21日，我军攻占陈道口，俘顽军八百余人，残顽突围逃走。我军乘胜扩大战果，横扫了运河沿线的土顽武装。陈道口战役的胜利，不仅巩固和扩大了淮海与淮北根据地，而且严重地挫败了韩德勤接应汤顽东进的计划。
原先苏北有两个军区，一个是盐阜军区，有7旅兼任的，一个是淮海军区，由8旅兼任的。