从26日起，中国军队以王仲廉的第三十一集团军主力向密县附近的日军实施反击，迫日军改取守势。激战到30日，日军后续兵团竹下义晴的第二十七师团、山路秀男的战车第三师团及藤田茂的骑兵第四旅团已集结在密县和郑州地区，迅速向禹县、襄城和许昌等地猛攻，与李仙洲的第二十八集团军和王仲廉集团军展开激战。5月1日，日军攻陷许昌，并以山路师团和藤田旅团向襄城和郏县突。3日凌晨，日军侵占郏县和禹县，4日攻占临汝，6日再陷登封、宝丰和鲁山，日军先队抵洛以南龙门附近。为了阻滞向龙门突的日军，第六战区急调刘戡兵团至龙门、伊川和嵩县一带，暂时稳定了战局。

7日，从许昌南犯的日军竹下师团攻占郾城和漯河。同一天，从信北的日军独立步兵第十一旅团攻占遂平。8日，日军南北会攻夺占西平，打通了平汉铁路。此后，日军集中主力向洛攻。

中国第一战区调整署，除仍以武麟的第十五军及第九十四师固守洛外，令孙蔚如集团军和刘戡兵团分别撤到洛西南的韩城和宜地区集结，准备侧击从渑池向洛和洛宁犯的日军。13日，郾师和龙门的各路日军会合在磁涧地区，向集结于洛外围的第一战区队攻击，李家珏的第三十六集团军等便先后从渑池附近向西转移，日军随即尾追，向西突，于17日占洛宁，18日攻陷郏县，20日占领卢氏。

5月19日，日军集中本卿师团、山路师团和藤田旅团等主力队开始向洛发动攻，中国守军顽抗击，使日军攻击受挫。22日，日军三次攻洛城关，都被中国守军赶城外。23日，日军把攻重放在洛北面。在日军的持续攻击下，洛守军伤亡惨重，第九十四师只剩下一千七百多人，但他们拒绝了日军的劝降，守阵地。24日下午1，日军向洛发动总攻击，攻破洛东北角。洛守军被迫于当晚10向洛东南突围。25日，洛失陷。

这时，洛守军已陷于孤军苦战。中国军队为挽救战局，击破日军的攻势，李宗仁第五战区队和蒋鼎文第一战区各兵团协同，对日军实施反突击，先后一度攻克遂平、鲁山和嵩县，迫宝丰，截断平汉线。西日军侧背受到威胁，不再继续向纵攻，便放弃卢氏，退守洛宁，将主力向东调动，巩固已经占领的地区。

以洛被日军占领为标志，历时一个多月的豫中会战结束。日军在这次会战中打通了平汉线，击溃了蒋鼎文第一战区主力，达到了作战目的。第一战区损兵折将达二十万人之多，丢失三十八座城市，河南省几乎全沦陷。

4月18日0时，长野祐一郎的第三十七师团和多贺哲四郎的独立混成第七旅团在河南开封以西中牟一带渡过黄河，向蒋鼎文第一战区河汜守备队发起猛攻，经激战后突破刘昌义暂编第十五军阵地，分路向郑州、新郑、尉氏和洧川等地突，21日攻陷新郑和尉氏。刘昌义军和第二旅、第三旅退守许昌西北地区，日军23日占领郑州，24日攻陷密县，吴绍周的第八十五军转守西方山地，阻击日军攻。

军计划在4月份左右发动平汉线作战，时间约为一个月左右；大约在6月份从武汉发动湘桂作战，8月左右从广东发动湘桂作战。参战总兵力约为十到十二个师团和两个航空师团，时间约为五个半月。如果情况允许，在1945年初攻占南宁附近，打通并确保桂林至越南谅山的通。

日军的林芳师团、本卿师团、山路师团、藤田旅团和多贺旅团，分别从登封、禹县、郏县和宝丰地区，向龙门和洛实施包围迂回。同时，日军三浦忠次郎的第六十九师团和小原一明的独立混成第三旅团，从晋南垣曲南渡黄河，9日侵占渑池，威胁洛侧后，完成了对洛的三面包围。

到4月初，日军先后从内山英太郎的第十二军、吉村贞一的第一军、横山勇的第十一军和永津佐比重的第十三军调共约四个师团、四个独立旅团、一个坦克师团及一个骑兵旅团，总计约十五万人，由华北方面军司令官冈村宁次指挥。

在河南北，林芳太郎的第一一○师团和本卿义夫的第六十二师团在4月19日早晨向防守邙山阵地的吴绍周军发起攻击。21日突破河防阵地后，侵占广武和汜，22日又攻陷荥。24日，从荥南下的日军林芳师团与从郭店西的日军长野师团占领密县，并继续向西南方向攻。这时，第一战区孙蔚如第四集团军防守该地的队退守荥、密县以西的虎牢关至驹岭一线，阻止日军西。

25日，日本第十三军的两个旅团，从安徽正关和凤台攻向阜，向河南漯河攻的态势，以牵制河南东的中国军队。在日军打通平汉铁路以后，他们又原路撤回。