1942年秋，谭震林调任新四军二师政委兼淮南区党委书记。

　　淮南，地处江淮之间，是苏皖边区，因有津浦铁路横贯其中，边区就分作路东部分和路西部分。路东与南京隔江相峙，长期处于日军重兵集团压力之下。路西面对桂系反共顽军第七军和第四十八军一部的直接威胁。淮南解放区是从敌、伪、顽夹击中打出来的，又是在持续地反扫荡、反摩擦的残酷战斗中坚持下来的。全边区处于无日不战的紧张状态。尔后，华中局和新四军军部移驻路东盱眙县黄花塘。因此，这里战略位置非常重要，与南京仅一水之隔，西跨淮南铁路，中有津浦铁路。既可威胁南京，又可截断敌人南北运输大动脉；既可阻止韩（德勤）顽西进，又可切断桂（李品仙的广西部队）顽东进。这是插在敌人心上的一把钢刀。

　　谭震林深深懂得，坚持路西，巩固路东，不仅是保卫淮南根据地，而且是在保卫全新四军的枢纽部分，任务极其艰巨。他来淮南后，和罗炳辉师长一道，加强了淮南地区的领导，为争取抗战斗争的完全胜利而日夜操劳。

　　当时，淮南战场上情况复杂，形势异常险恶。日伪经常进行疯狂地“扫荡”，地方反动势力不断骚扰。再加上天灾严重，根据地军民思想动荡不安，担心“抗战无期”，感到前途渺茫。部队一些干部也从思想上消沉起来，曾一度影响革命斗志。

　　针对这些情况，善于做思想政治工作的谭震林，一到淮南，就深入路东、路西地区，和军队、地方的同志座谈交心，请大家提问题、谈想法，广泛听取意见，了解情况，然后有的放矢地做思想工作。

　　他思想敏捷，洞察力强，善于做鼓动性演讲。针对当时干部战士对整个反法西斯战争的形势不了解，对抗战的持久性、艰苦性缺乏正确的认识，甚至对这场战争能否取得彻底胜利信心不足的思想实际，他多次向大家作当前形势和任务的报告。他从苏德战场形势讲起，从战争的性质讲到苏军的反攻，讲得生动具体，连缴了多少门大炮、多少机枪等一系列数字都能记得一丝不差，既条理清晰，又生动感人，使大家认识到正义战争必胜的真理。

　　接着，他将话锋一转，引导大家回顾1938年至1939年间新四军江北部队开创淮南抗日根据地的情景。他激昂慷慨地说：“这里敌人统治严密，武力强大，我们的困难成山。但是，我们不还是在党和毛泽东同志的正确领导下，克服无数艰难险阻，胜利地创建了淮南抗日根据地吗?目前，敌人的掠夺、封锁，固然给我们造成严重困难，但也进一步使人民更加觉悟。从某种意义上讲，我们淮南根据地，就是在敌人的扫荡中巩固发展起来的……”

　　他的报告，有理有据，深入浅出，抑扬顿挫，虽未用只字的讲稿，大半天的时间，会场上时而鸦雀无声，时而爆发出雷鸣般的掌声。难怪听者啧啧称赞：“谭政委有一张铁嘴，有一个电子脑袋，有一身钢铁般的意志。”

　　在做好思想工作的同时，谭震林大刀阔斧地进行精简整编，推行一元化领导的新工作体制。三个主力旅各保持两个团，减去一些老弱病残人员。区党委、师部、边区行政公署和各人民群众团体的领导机关一律缩小，将裁减人员充实基层。路东专署与淮南行署合并。基层精减的幅度更大。这次大精简，仅路东各类脱产人员就减少2000多人。这样一次大规模的精兵简政，仅花一个多月的时间，开展得很顺利。第五旅兼淮南军分区政委赵启民（解放后任海军副政委）深有感受地说：“谭政委大刀阔斧、雷厉风行的作风和严谨踏实的工作态度，形成了他独特的领导风格。这对于迅速打开局面，起着极大的推动作用。”

　　1943年至1945年间，根据地周围的日伪军、顽军、反动地方武装十分嚣张，他们之间虽然明争暗斗，尔虞我诈，但在对付新四军时，又互相勾结，狼狈为奸。谭震林以大智大勇，身先士卒，率领二师主力长期奋战在前线，不断粉碎日伪军的扫荡，反击顽军（桂系部队）的进攻，粉碎了敌人妄图蚕食根据地的阴谋。

　　1944年11月上旬，桂军第一七一师主力及土顽一部，乘日伪军“扫荡”之机，向淮南津浦路西根据地进攻。这时，一七一师攻占我路西抗日民主根据地的曹岗、郭集、青龙厂等地。当我军坚决打击日寇的“扫荡”，日寇于11月16月败退时，一七一师四个营及地方武装300余人，竟于19日由蒋集向我路西占鸡岗、董大圩的部队进攻。在谭震林的统一指挥下，五旅旅长成钧、政委赵启民率全旅，在路西分区第十八团的配合下，在路西占鸡岗（今定远县城南之站岗）进行自卫反击作战，一举歼灭桂顽主力四个营共1900余人，顽军一七一师五一二团团长蒙培琼及其所指挥的四个营长一起当了俘虏。后来缴获顽军的一个军官写的日记，其中有段小诗记述了在占鸡岗惨败的情景：

　　“占鸡岗上真悲伤，

　　战马奔腾血泪飞。

　　问君能否记忆起，

　　北上剿共几人回?”

　　这次战斗，受到新四军军长陈毅的高度赞扬，他说：“自从红军以来，打广西军一仗消灭这么多，这还是第一次。”

　　1945年2月，桂军一七六师又趁日伪“扫荡”我含（山）、和（县）地区时，进攻我七师，谭震林与罗炳辉一道，奉命配合七师反击桂军，攻克肖家圩、界牌集等12处据点。4月中旬，我军与桂军在王子城激战六昼夜，在谭震林直接领导下，攻克王城、八斗岭等13处据点，粉碎了桂军蚕食淮南边区的企图。

　　在5月的黄疃庙战役中，谭震林亲任总指挥。当时，桂军为配合日伪“扫荡”，企图捣毁我路西根据地。桂军一七一师主力冒进黄疃庙地区，妄图固守待援。谭震林经详细侦察，查明敌情后，当机立断，决心迅速地全歼黄疃庙地区之敌。战前，他主持召开了作战会议，和大家一起研究制定了围点打援、运动中歼敌的作战方案。他亲自指挥第四、五、六旅，在三师七旅的配合下，出其不意，攻其不备地发起反攻，使战役进展顺利，经激战四天，共击毙、俘虏桂军团以下官兵近2000人，沉重地打击了桂顽的嚣张气焰，巩固了我路西抗日根据地，极大地鼓舞了淮南军民争取抗战的信心。

　　在淮南抗战的全过程中，新四军第二师及其前身共歼敌6万余人，主力发展到3万余人，组建地方武装1万余人，建立15个县级民主政权，拥有2万多平方公里的地区，人口约300万。这是淮南军民浴血奋战的结果。作为二师政委兼淮南区党委书记的谭震林，几年呕心沥血，作出的杰出贡献，淮南人民是永远不会忘记的。

　　1945年4月23日至6月11日，中国共产党第七次全国代表大会在延安举行。谭震林被选为中央委员。他深有感触地说：“我们要认真学习‘七大’文献，贯彻‘七大’精神，宣传毛泽东思想，坚持实事求是的原则，克服‘左’、右倾机会主义错误，将革命进行到底。”