抗日战争爆发后，坚持在鄂豫皖大别山区的红二十八军，在高敬亭的领导下，根据中共中央有关抗日民族统一战线精神，适应时局的变化，与国民党地方当局进行谈判，实行区域合作，共同抗日。中共中央对鄂豫皖地区红军的情况极为关注，决定派干部赴鄂豫皖，以增强领导。1937年7月上旬，毛泽东在延安亲自接见了派往鄂豫皖工作的郑位三、萧望东等人，他高度赞扬了坚持鄂豫皖边区斗争的党和红军。并对郑位三、萧望东说：“你们两位为党中央的代表，由你们向他们传达党中央有关抗日的主张和指示”(程启文：高瞻远瞩，思接万里——忆毛主席叫我重上大别山，见《被错杀的将军》，四川人民出版社，1984年版。第66页)，要求郑位三、萧望东等按照中央精神，注意团结高敬亭同志，同那里的国民党当局搞好谈判，一定要把党的抗日民族统一战线政策讲清楚，在斗争中发展壮大我军的力量。带着党中央、毛泽东的指示，郑位三、萧望东等从延安出发，经西安、蚌埠、南京、六安，于9月中旬到达鄂东七里坪。9月下旬，郑位三在七里坪召开庆祝平型关大捷胜利大会，在会上郑位三报告了八路军一一五师在晋北平型关歼灭日军坂垣师团1000多人的胜利消息，分析了全国抗战形势和发展前途；传达了中共中央关于红军整编并东进皖中、皖东抗日的指示；代表党中央、毛泽东表彰了鄂豫皖边区的党组织、红二十八军指战员，坚持3年游击战争，取得的辉煌胜利；号召边区军民继续发扬革命传统，为夺取抗日战争的胜利而努力奋斗。

　　在此之前即9月上旬，国民党豫鄂皖边区督办公署的谈判代表刘刚夫受命来到七里坪，协办红军的驻防给养等事宜，并带来了国民党政府军事委员会的命令，委任高敬亭为“工农抗日联军”挺进军司令部司令长官。当时，国共两党中央党尚未就南方八省边界地区红军游击队的整编达成协议，国民党单方面做出此举，企图很明显，就是想用政治进攻的手段，达到收买红二十八军最高负责人、收编这支红军队伍的目的。郑位三等人来到七里坪后，按照中共中央有关指示精神，让高敬亭退回了国民党南京政府军事委员会的委任状，在复杂的政治斗争中正确地执行了党的抗日民族统一战线的方针政策，坚持了党对红军的领导权和独立自主原则。

　　红二十八军和地方武装集中后，为了使鄂豫皖边区的党和革命武装尽快跟上已经变化了的形势，迅速担负起抗战任务，根据中共中央指示精神，郑位三、萧望东、何伟等与高敬亭利用暂时的和平环境，对部队进行思想、组织、军事的全面整训。由郑位三等负责在七里坪附近的秦家祠堂举办了多期干部轮训班，学习党的抗日民族统一战线的方针政策。郑位三给每期学员讲课。在部队全面整训期间，中共中央又先后增派聂鹤亭、郭述申、方毅、彭康、戴季英等到鄂豫皖边区工作，方毅、彭康也到轮训班给学员讲课。通过学习，使红二十八军广大指战员的思想进一步统一到党中央的正确路线上来，激发了抗战热忱，掀起了练兵热潮。

　　在集中整训期间，根据郑位三的建议，部队还派部分干部战士与抗日救亡团体一起深入乡村，走上街头，作演说，贴标语，教唱抗日救亡歌曲，演出抗日救亡的节目，掀起抗日救亡宣传的新高潮。经过全面整训，部队的政治素质和军事素质得到提高，为抗日救国作好了组织上、思想上、军事上的准备。

　　1937年10月，国共两党谈判达成协议，将南方八省边界地区的红军和游击队改编为国民革命军陆军新编第四军。12月下旬，新四军军部在武汉成立。

　　1938年1月22日，中共中央长江局决定成立新四军第四支队军政委员会，高敬亭任主席，郑位三、林维先为委员。同时成立中共鄂豫皖特委，郑位三为书记，在四支队军政委员会指导下工作。1938年2月中旬，新四军第四支队正式编成，高敬亭任司令，林维先任参谋长，萧望东任政治部主任。3月8日，新四军第四支队誓师东进，开赴皖中、皖东抗日前线。红二十八军能顺利进行集中整训、完成改编工作，郑位三倾注了大量心血，功不可没。

　　高敬亭有坚定的革命性，坚持鄂豫皖边区三年游击战争有功，保存了一支3000余人的革命队伍。但由于他长期与党中央失去联系，认识受到局限。因此，红二十八军改编成新四军第四支队后，他总觉得这支队伍的改编是他个人的功劳，而对党中央派来的军政干部不够尊重，也不放心。特别是对郑位三存有戒心。郑位三是鄂豫皖革命根据地创建人之一，在鄂豫皖地区有很高的威信。高敬亭怕郑位三在四支队影响他对部队的掌握，因此，借一些小事为难他。但郑位三以大局为重，不计较个人得失，注意搞好团结，主动做地方工作，以维护第四支队稳定这个大局面。
　　二、领导皖西大别山区的抗日救亡工作

　　1938年11月9日，中共中央政治局决定，成立中共中央中原局，刘少奇兼任书记，郑位三等为委员。为统一领导鄂豫皖边区抗日工作，1939年1月，中共中央中原局决定，撤销安徽省工委，成立鄂豫皖区党委，郑位三任书记，何伟任组织部长，彭康任宣传部长，张劲夫任民运部长，谭希林任军事部长。1月下旬，郑位三、郭述申到达国民党安徽省政府所在地立煌县(今安徽金寨县)白水河新四军第四支队兵站。随即郑位三主持召开了鄂豫皖边区党的负责干部大会。皖西、豫南、鄂东等地区的中心县委负责人出席了会议。郭述申在会上传达了党的六届六中全会精神。会议分析了当时的形势，安排部署了下一步工作任务。会议还宣布正式成立鄂豫皖区党委。

　　鄂豫皖区党委以皖西大别山为中心，利用安徽省民众总动员委员会(简称动委会)的合法形式和部分党员干部在各级政府中任职的合法身份，积极开展统战工作，改革地方政治，推动政府抗战，扩大党的影响；发展党的组织，扩大抗战进步力量。

　　鄂豫皖区党委根据工作需要，加强了内部领导机构。在区党委民运部下面成立了青年工作委员会、妇女工作委员会；在宣传部下面成立了文委。这3个党内机构，运用省动委会的公开合法组织开展工作。

　　鄂豫皖区党委还对所属党组织进行了整合，区党委所属党组织主要有：中共舒无地委、中共潢川中心县委、中共皖鄂边区地委、中共六安中心县委、中共黄冈中心县委、中共鄂东地委、中共英山中心县委及中共立煌县委。

　　区党委除了青委、妇委、文委借动委会的合法形式开展党的活动外，还积极开办党员干部训练班，创办发行了《三月新闻》小报。

　　1939年上半年，鄂豫皖地区整个政治形势趋向恶化，国民党桂系开始在统治区域积极贯彻执行国民党五届五中全会拟定的反共方针，在皖西大别山处处排挤、打击抗战进步力量，形势对鄂豫皖区党委愈来愈不利，为防不测事变发生，1939年夏，根据党中央指示，区党委在自水河召开扩大会议，决定撤退，转移到皖中地区。大约在5月19日前后郑位三先期到达庐江东汤池新四军江北指挥部。6月12日，区党委宣传部到达东汤池，6月30日，谭希林到达东汤池，区党委其他成员也陆续转移到皖中、皖东(《赖传珠日记》，参见《军史资料91985年第9期，第11、12、13页)。何伟以新四军参议和新四军驻立煌办事处主任的公开身份，暂时留在立煌部署其他同志的撤退工作。

　　1939年8月16日，鄂豫皖区党委在庐江东汤池召开党代表会议，安排部署皖西地区工作，选举出席党的七大代表。这次会议决定将鄂东北、豫东南工作交给李先念领导，派李丰平去立煌成立立煌市委，领导地下工作。

　　从1939年下半年开始，以郑位三为首的鄂豫皖区党委有组织有计划地将党的基本力量从皖西大别山国民党统治区域撤退出来。撤出来的人员包括省动委会40多个工作团、广西学生军和桂系军队中地下党员和靠近党的爱国青年，以及省干训班、省府各厅的一大批进步人士，总数达3000人。1940年春，基本撤完。这部分人员转移到皖东、皖东北、苏北后，有的成为抗日根据地的党政干部，有的参加了新四军，充实了部队的干部队伍。

　　三、协助刘少奇、张云逸，创建皖东抗日根据地

　　1939年11月2日，郑位三由东汤池前往皖东抗日前线。12月初，中共中央代表、中原局书记刘少奇(化名胡服)来皖东，与张云逸、郑位三、邓子恢等会合，皖东乃至华中抗战历史翻开了新的一页。

　　为了迅速扭转皖东地区抗战局面，创建皖东抗日根据地，在刘少奇主持下，中共中央中原局从1939年12月到1940年2．月，在皖东召开了三次会议，传达贯彻党的六届六中全会精神，制定发展华中，创建皖东抗日根据地的战略，确定反“摩擦”斗争的策略。郑位三以中原局委员和中共地方党组织主要负责人的身份参加了这三次会议，在会上他坚决支持、拥护刘少奇提出的正确主张，积极参与了发展华中、创建皖东抗日根据地、反“摩擦”斗争政策和策略的制定工作。

　　为了加强党的领导，处理和协调新四军江北部队与中共地方党组织的关系，1940年1月，经刘少奇建议，并报中共中央批准，将新四军江北部队中党的最高领导机关江北指挥前委，改为皖东军政委员会。不久，中共中央中原局决定郑位三任皖东军政委员会书记。皖东军政委员会的成立，统一了皖东地区党、政、军的领导，为创建皖东抗日根据地提供了组织保证。

　　1939年12月到1940年3月，在刘少奇、张云逸、郑位三、邓子恢、徐海东、罗炳辉等领导下，皖东军民取得了周家岗反“扫荡”、定远自卫战、半塔保卫战、火烧来安城等一系列战斗的胜利，皖东形势实现根本好转。

　　皖东反“扫荡”、反摩擦胜利后，郑位三协助刘少奇、张云逸，组织领导新四军江北指挥部和皖东地区中共党组织(津浦路东省委和津浦路西省委)大刀阔斧地进行了抗日民主政权的建立工作。

　　1940年3月11日，第四支队(郑位三兼任政治委员)第十四团等部攻占定远县城，国民党县长逃跑。根据中原局会议精神，郑位三与刘少奇、彭康等研究后决定，成立共产党领导的抗日县政府，委派江北指挥部统战科长魏文伯当县长。在魏文伯赴任前，郑位三与魏文伯彻夜交谈，介绍红军时期建立根据地的经验，以及如何帮助人民群众认识抗日民主政权性质的方法。并对魏文伯提出的要干部要经费的问题进行了协调处理。1940年3月17日，华中地区第一个抗日民主政权——定远县抗日民主政府正式成立。此后，路西地区的滁县、凤阳、全椒等县，路东地区的来安、嘉山、盱眙、六合等县也相继建立抗日民主政府。定远县抗日民主政府建立后，郑位三还亲自过问该县区、乡政权的建立，据原定远县委宣传部部长王榕回忆：“郑位三对这项工作非常重视，多次要县委向他汇报。开始时，几乎每天晚上郑位三都要孙湘(县委组织部部长)和我到他那里汇报，指示我们对旧政府人员要区别对待，表现好的可以留用，……表现坏的赶下去”(王榕：刘少奇同志的一次重要讲话，载《刘少奇在皖东》，中共党史出版社，1990年8月版)。

　　1940年4月18日，津浦路东联防办事处成立，8月1日，津浦路西联防办事处成立。自此皖东抗日根据地正式形成。定远县抗日民主政府的成立，揭开了华中地区中国共产党建政的序幕，标志着皖东抗日根据地的正式建立。上述表明，郑位三为皖东抗日根据地(1942年1月以后称淮南抗日根据地)的建立，作出了重要贡献。

　　四、始终注意抓好部队和根据地党的建设

　　皖南事变后，新四军江北指挥部所属部队改编为新四军第二师，师长由副军长张云逸兼任，郑位三任政委，罗炳辉任副师长。1941年4月30日，中共中央军委决定，成立新四军第二师军政委员会，张云逸任书记，郑位三、罗炳辉等为委员。为加强党的领导，协调军队与地方党政之间的关系，1942年4月26日，中共中央华中局决定，成立二师地区党政军委员会，郑位三为书记，张云逸、罗炳辉、刘顺元、方毅为委员。第二师成立后，作为政治委员，郑位三一直是部队和根据地党的最高领导人之一，他始终注意抓好部队的思想政治工作和地方党的建设，使第二师各部队始终保持旺盛的革命斗志，为完成华中局、军部赋予的“坚持路西、巩固路东，随时迎击顽固派军队的进攻”的战略任务，宵衣旰食，不辞辛劳。

　　第二师成立不久，1941年3月18日，在路东天长县赵庄，召开了历时20天的全师政治工作会议，张云逸、郑位三、邓子恢等军政首长出席会议并作指示，一致提出要提高部队军政素质，为建设正规化的党军而奋斗。政治部副主任张劲夫总结了江北部队二年来的政治工作。会议强调了党对军队的绝对领导，明确了部队政治工作的原则、制度和任务，号召加强团结，反对各种不良思想作风。“三一八”政工会议后，第二师各部队通过召开党代会、政工会、英模会，认真贯彻“三一八”政工会议精神，加强基层建设，逐步建立健全了工作、生活制度，使部队精神面貌、官兵关系、思想作风，纪律状况和行政管理都有了显著进步。

　　郑位三同志善于做思想政治工作。原第二师十五团政委陈祥在《难忘的楷模——回忆郑位三同志》一文中写道，郑位三“是全师部队的政治工作的光辉典范。他有很高的马列主义修养，能够以辩证唯物主义和历史唯物主义观点向部队深入浅出地讲解我党我军历史上的重大事件，并能结合实际开展思想政治工作。……位三同志对下级干部十分关心和爱护，但要求又很严格。他对干部循循善诱，体贴入微的事例是很多的……1941年11月，组织上决定调我去十五团当政委，位三同志专门找我谈话，(指出)到新单位工作，要谦虚谨慎，多深入基层了解情况，少主观地决定问题，遇事要和同级干部多商量；对打仗方面的事，决不能马虎，既要认真负责参加研究，又不要包办代替……这些肺腑之言，我一辈子都记着，它对我一生中的工作有很大的帮助。

　　位三同志对于犯错误的同志，总是强调耐心帮助，强调思想教育要严，组织处理宜宽的原则，某旅有两个团职干部，因仗没有打好，旅部决定要给予严厉的党纪处分。位三同志得知后，连夜打电话与该旅领导商谈，耐心说服，最后终于改变了原来偏重的处分，使那两位干部获得了继续为党担负重要工作的机会。

　　位三同志平易近人，广大指战员要见到他犹如见到了亲人，肚子里有话都能直接掏出来，从不感到拘束。总之，是我终身难忘的好老师(见《淮南烽火》，解放军出版社，1999年版，第355、356页)。

　　郑位三十分关注部队和地方党组织的作风建设。因长期献身革命事业，过度劳累，加上吸烟不断，郑位三身体一直不太好。但他不顾疾病在身，经常深入部队和基层进行调查研究工作，掌握部队思想作风、工作作风方面第一手材料，有针对性的开展工作。1943年2月，中共中央决定谭震林任第二师政治委员，郑位三不再担任第二师政委，但他仍十分关心淮南地区党的建设，十分关心淮南地区的党内整风工作。3月30日，他在病中写信给淮南区党委负责人谭震林、刘顺元，信中回顾了淮南地区开展第一期整风情况，列举了淮南党内六种主要的不良倾向：(1)个人享乐主义的滋长；(2)剥削阶级赚钱思想的发生；(3)“革命功臣”观念的存在；(4)个人对组织的过度要求；(5)经济制度的不严格；(6)单纯强调长级的干部政策。指出这些倾向基本上是由第一种倾向做出发点的，问题已经由日常生活问题，滋长为政治的原则问题，已经由经济的物质的问题，发展为思想的人生观的问题了。建议将此信转给淮南党内同志详细讨论。淮南区党委对郑位三的来信非常重视，先是在4月下旬召开的全区财经与供给会议上进行传达学习，后又作为整风学习文件在《淮南党刊》上予以刊载。

　　5月，第二师第四旅在路东盱眙古城召开了第一次党代表大会，郑位三应邀到会，并就加强部队的思想作风建议讲了话。

　　郑位三的“三月来信”，有力地推动了淮南地区的整风运动，这是郑位三即将离开安徽，离开淮南时，为党的事业做出的又一个贡献。

　　1943年5月17日，中共中央书记处致电陈毅、饶漱石并告郑位三：“中央即决定以郑为鄂豫皖边区党委书记兼五师政委。”郑位三赴鄂豫边区途经皖江地区时，还分别向和含、巢无地区干部介绍了淮南整风情况和经验教训。11月7日，郑位三作为中共中央华中局代表到达鄂豫边区，参加新四军第五师领导工作。1944年1月12日，华中局转发中共中央1943年5月17日的决定，再次正式任命郑位三为鄂豫边区党委书记、新四军第五师政治委员。但郑位三没有公布这一决定，仍以华中局代表身份工作。