1944年初，淮北形势亦已好转。车桥战役后，3月中旬日伪军对淮泗地区进行了3天报复性“扫荡”，继以飞机数架轰炸半城、青阳、临淮关、高良涧、蒋坝等中心区集镇。27日，日军以第72旅团驻淮阴的3个大队为骨干，并调集徐州、宿县日军各一部及淮阴、泗阳伪军，共约2000余人，“扫荡”泗阳，突进淮北根据地中心区田集等地，企图捣毁第4师后方机关。沿途遭第4师一部袭击后，于30日退回洋河据点。

　　为配合淮泗、泗阳反“扫荡”，第4师各部于3月16日开始发动攻势作战。在宿东，拔除三铺、大店集据点，并迫使日伪军放弃蒿沟、下栈、张庙子据点，控制了时村至大店公路。在灵璧北，拔除了屏山、水中刘据点。在睢宁，破击睢(宁)宿(迁)公路，攻占了王集据点。在泗县，攻克关帝庙据点。接着，为策应中原战役，破坏日军调兵计划及配合淮海、山东等地反“扫荡”，第4师主力及地方武装在东至运河，西至津浦铁路，宽数百里的战线上，在广大民兵和群众协助下，展开春季攻势。这一攻势至5月5日睢宁魏集战斗止，历时50天，大小战斗60余次，先后攻克日伪据点51处，歼灭日军80余人及伪军第28师等部1800余人，收复了宿东、灵璧、泗县、睢宁、宿迁间的广大地区，破坏并控制了宿(县)灵(璧)公路大店至灵璧段及泗(县)宿(迁)公路，使泗县、灵璧外围除前后张楼外，其余据点几乎全被扫清。邳(县)睢(宁)铜(山)区除运河沿线、陇海铁路、海郑公路及睢宁城北魏集、车甸外，已无敌踪。

　　第4师部队经过1个月休整后，决定发起张楼战役。张楼是淮北抗日根据地内比较大的日伪军据点，长驻伪淮海省保安第6总队约400人。它位于泗县、睢宁之间的泗睢公路西侧，处于淮北抗日根据地中心区内。新四军由皖东北向西发展，开辟泗灵睢、宿灵地区，或阻击国民党军东进，都要经过张楼。张楼分前张楼、后张楼。四周有4米高的圩墙，沿墙筑有20多座地堡，圩墙四角各有1座碉楼。圩墙外有10米宽4米深的外壕，壕内水下埋有竹签、三角钉。其工事配套，比较坚固，敌人气焰十分嚣张。1944年6月，第4师集中第9旅第25、第26团，第11旅第31、第32团和泗宿总队攻打张楼。6月6日、27日、29日，第26、第25、第32团分别拔除了张楼外围骆场、马群墙、三周家、朱场等据点。日伪军恐慌至极，曾数次请援。7月3日，由泗县调来伪淮海省保安第2总队两个大队，以加强前后张楼的守备。第4师决定7月5日对张楼发起总攻。具体部署是：第25团主攻前张楼；第26团主攻后张楼；第31团位于屏山、蟠龙山，阻击泗县日伪军北援；第32团和泗宿总队向邱集、王夏圩警戒。7月5日夜，第26团强攻后张楼，守敌负隅顽抗。6日晨，前张楼伪军200余人出援，被击退。战至7日8时，攻占了后张楼，俘伪大队长以下269人。当日，前张楼1个大队向泗县逃窜，至老山附近被第31团全歼。10日晚，驻海郑公路南邱集的伪军数百，日军50人，向龙河附近运动。攻击部队即集结主力北移，准备打击该处增援之敌，仅留少数兵力监视前张楼。11日拂晓，泗县日军200余人，伪军500余人，窜至张楼南之三周家，前张楼伪军在援军接应下乘机突围。第26团遂占领前张楼。突围南逃之日伪军遭第25团追歼后，又被第31团于老山附近截击、包围，一部被歼，大部逃散。12日晨泗县日伪军倾巢出援，突围南逃的残余日伪军得以窜回泗县城。至此，张楼战役胜利结束。共歼日伪军800余人，其中俘日军5人，俘伪军530余人，控制了睢(宁)泗(县)公路全线，解放了整个泗(县)北地区，扫清了泗县周围据点。