根据我党中央与国民党于1937年10月达成的协议，主力红军长征后在鄂豫皖边区的大别山、桐柏山浴血奋战三年之久的红二十八军和红军游击队改编为国民革命军陆军新编第四军第四支队。12月，国民政府军事委员会根据中共中央提名，任命原鄂豫皖省苏维埃主席、红二十八军政委高敬亭为第四支队司令员、林维先为参谋长、萧望东为政治部主任。1938年2月中旬，以红二十八军机关为基础组建的第四支队司令部在七里坪宣告成立，下辖第七、八、九团、手枪团和直属队，共3100人。

　　3月8日，遵照毛泽东同志关于“高敬亭率部可沿皖山山脉进至蚌埠、徐州、合肥三点间作战”的指示，和军部关于东进皖中、皖东的命令，高敬亭司令员在司令部驻地主持誓师大会后，即率部下山，挺进皖中敌后。

　　3月下旬，支队所辖各团，于皖西立煌县（今金寨县）流波疃会师，高敬亭司令员又主持召开了全支队继续东进誓师大会。会后，支队以七团为前卫，司令部率九团为本部，八团为后卫，于4月中旬抵达皖中庐江县金牛镇、盛家桥地区。由张学良将军所部第六十七军流亡官兵组建的东北流亡抗日挺进团，亦于同时持周恩来副主席亲笔信到达皖中，归第四支队领导。

　　此时，侵入华中苏皖地区的日军，为策应徐州会战，先后抽调其第六、十、十三、十四、十六师团各一部共十万余人，由江淮孔道西侵。在五个月前参与南京大屠杀的谷寿夫中将所部第六师团主力，在海军协同下，从芜湖横渡长江，侵入皖中，在国民党军第五战区第二十一、二十七集团军不战西撤的情况下，相继侵占和县、含山、巢县等地，其主力板井支队已进至安徽省省会合肥附近（于14日侵占合肥）。皖中各级政府官员，纷纷随不战而溃的友军西逃。日寇四处烧杀抢掠，皖中百姓四处逃难，处于水深火热之中。

　　5月初，高敬亭司令员率手枪团进驻舒城县西蒋冲后，即指挥部队展开于庐江、无为、舒城、桐城、全椒、和县、含山和巢县地区，开展游击战争，掩护友军及其政府官员西撤，同时积极贯彻中共中央关于放手宣传、组织群众奋起抗敌、壮大人民抗日武装的方针，努力创建皖中敌后游击根据地。

　　这时，已展开于巢县高林桥、散兵镇、望城岗地区的我四支队九团，侦悉日军第六师团板井支队驻巢县的守备部队，经常派出小股部队，窜至巢湖东岸的蒋家河口地区抢掠，而该地河道纵横、芦苇丛生、地形复杂，便于隐蔽，是十分理想的伏击地区。于是九团政治委员高志荣、参谋长唐少田，当即命令二营营长黄仁庭、教导员李士怀率部在该地设伏，痛击日寇，为在南京大屠杀中的死难同胞报仇雪恨。

　　5月11日下午，黄仁庭率团侦察队和第二营第三连从银屏山出发，于12日拂晓前入伏击地域。上午8时许，日军分乘两艘汽艇从巢县方向驶入伏击地，在汽艇靠岸日军下船之时，黄营长一声令下，我伏击部队猛烈开火，骄横的日军被打得乱作一团；有的跳入水中，企图登船逃窜，有的利用河岸，就地隐蔽，妄图顽抗。我四连三排以猛烈火力封锁日军退路，团侦察队集中火力射击艇上日军，用集束手榴弹将敌两艘汽艇炸翻。经20分钟激战，将20名日军全部击毙，我设伏部队无一伤亡。

　　蒋家河口伏击战，是我军江北部队东进皖中的第一仗，也是全军挺进华中敌后的处女战，一举揭开了华中敌后游击战争的序幕。这次战斗，使经南京、芜湖北侵该地从未遭到抗击的日军第六师团板井支队极为震惊，不得不从进攻合肥的部队中，抽调一个大队，返回巢县地区。全国各地闻讯我新四军首战告捷，纷纷致电军部祝贺，蒋介石也于5月16日致电叶挺军长、项英副军长：“贵军四支队蒋家河口出奇挫敌，殊堪嘉慰。”

　　蒋家河口战斗以后，高敬亭司令员遵照5月22日中共中央发出的《关于徐州失守后华中工作的指示》，要求有计划地建立几个游击区，使四支队成为这一区域的抗日主力的精神，在中共皖中地方组织的配合下，指挥部队广泛开展游击战争。在两个月内，先后发动大小战斗数十次，毙伤俘日伪军800人和途经皖中西侵武汉的运输汽车100辆。与此同时，部队还协助地方党建立和健全各县党组织，继续发动群众，建立抗日民众团体，使抗日烽火燃遍皖中大地，迅速打开了皖中游击战争局面，为此后创建皖中抗日根据地奠定了基础。在此前后，高敬亭相继命令挺进团、八团和新组建的淮南抗日游击纵队以及七团向皖东发展，将作战区域推进至蚌埠、滁县、合肥三点之间作战。

　　9月2日，高敬亭命令支队特务营和七团三营，于3日凌晨在桐城县境的棋盘岭设伏，摧毁日军汽车50辆，毙敌70名。至同年12月，四支队又接连发动对日伪军与土匪等反动武装的多次战斗。累计歼敌约3000人。截至翌年5月，四支队在皖中、皖东地区发动了大小战斗九十余次，歼灭日伪军和土匪等反动武装6400人（其中日军1700人），四支队也在游击战争中发展壮大至一万余人，为我军四个支队中歼敌数字最多，兵力发展最快的一个支队。四支队挺进敌后，一年问先后开辟了皖中和皖东敌后游击战争的根据地，并为此后创建皖中和皖东敌后抗日根据地奠定了基础。

　　在此期间，由于中共中央东南局和军部主要领导人受王明右倾投降主义影响，一度屈服于国民党安徽省主席兼二十一集团军总司令廖磊的压力，不顾四支队军政委员会和高敬亭同志的强烈抗争，迫使四支队按廖磊的命令将广大指战员和皖中抗日民众用鲜血从日本侵略军手中夺回的皖中阵地移交给蒋介石任命的专员李本一，同时将防区移交廖部二十一集团军四十八军一七六师接管。我四支队主力陆续转进至皖东地区。主力东移后，皖中敌后抗战形势迅速恶化，地方武装和党组织一度遭受严重损失。四支队军政委员会和司令员高敬亭，也由于多次抵制右倾投降主义错误而屡受东南局和军部主要领导人中受王明错误影响的同志的责难，加之高敬亭同志本人工作上的某些失策，终于导致其本人于6月24日在青龙厂被军部按蒋介石事先发出的手令杀害的悲剧。

　　青龙厂事件后，四支队于7月1日奉命分编为第四、第五两个支队。第五支队，以老八团为核心组建，辖八团、十团和十五团，共3000人，由罗炳辉同志任司令员；新四支队辖七团、九团、十四团和特务营，共4000人，由徐海东同志任司令员。第四、五支队分编完成后，在江北指挥部领导下，分别在皖东津浦铁路东路西两侧开展敌后游击战争，相继创建了以津浦路西藕塘镇和津浦路东的半塔集为中心的两个游击根据地。

　　1939年11月底，刘少奇率中共中央中原局机关到达皖东，直接领导皖东地区抗日斗争和江北新四军部队以后，于当年12月和翌年一二月，在皖东定远、滁县地区，连续召开三次中共中央中原局会议，传达贯彻党的六届六中全会精神，确立了放手发动群众、发展壮大人民武装和独立自主地创建敌后抗日民主政权的总方针，并针对国民党顽固派发动第一次反共高潮，制造大规模军事摩擦的情况，提出了敢于反摩擦的统一战线方针，严肃批判和及时纠正了王明和中共中央东南局与军部主要负责同志的右倾错误，及其对江北部队和游击根据地工作的影响，开创了皖东和整个华中敌后抗战的新局面。此后，在仅仅三个月的时间内，第四支队总兵力由4000人迅速恢复壮大到近万人，第五支队也由3000人，壮大到5000人。同时还组建了5000人的地方武装，津浦路东、路西的抗日民众组织也迅速发展起来。1940年三四月间，中共中央中原局还在反摩擦斗争中，不失时机地领导皖东各县相继建立了各级抗日民主政权。在皖东抗日民主根据地迅速建立并在斗争中巩固和发展的同时，江北部队和党组织，也逐步恢复了在皖中的阵地，重新点燃了皖中大地的敌后游击战争烽火。