日军被迫自5月日起，由攻势作战全部转为守势作战。日军第6方面军向派遣军请求增加二至三个师团再发动新的攻势，派遣军无兵可派予以拒绝。日军第0军为挽回败局，经派遣军司令部批准，于5月4日下午，向第116师团及第58旅团下达了撤退令。

同日，中国陆军总司令部下达了转为攻势的命令。

5月9日，在强大空军机群支援下，第4方面军各军向日军发起全面攻击。

激战至1日，第74军与第94军协力击溃了日军第58旅团主力，攻占了高沙市并将该旅团第1**队包围在高沙市西北地区；第100军在重创日军第116师团第109联队后，将其包围在圭洞以东的大黄沙附近；第18军以猛烈攻势阻击迟滞了援敌第47师团；第7军继续向困守南山寨的日军第11联队进攻。

当第4方面军发起全面反击时，日军“中国派遣军”总司令官冈村宁次，已认识到这次进攻芷江作战已经失败。

5月9日，冈村宁次下达了中止芷江作战、部队适时撤回原驻地的命令。

在中**队反击下，日军第116师团及第58旅团，于5月15日退至破塘、金龙砦、米山铺一线，第47师团于当晚在茅坪与由南山寨撤退的第11联队会合后，向宝庆撤退。

5月15日，中国第4方面军调整部署：

令第74军和第18军分别向龙潭铺和金龙砦攻击；第100军以一部肃清当面日军残部，将主力控置于山门以西；第7军继续向南山寨攻击。战斗至日，第18军、第94军和74军先后攻占了金龙砦、黄桥铺、米山铺等地。

日军第109联队大部被歼，第1和第10联队也遭到沉重打击。第58旅团被包围在高沙市西北地区的第1**队则被全歼。至6月7日，日军残部在第0军新调来的近十个大队组成的集成部队掩护下，逐次退至宝庆地区。

第4方面军收复了所有在这次作战中失去的阵地，恢复了战前态势。

日军进攻芷江的作战以彻底失败告终。此战杀伤日军.8万余人。

整个作战期间，中美空军以绝对优势兵力控制了战场上空，使日军航空兵出动很少。中美空军战斗机共出动960架次，轰炸机出动171架次，共投炸弹9吨，炸死杀伤日军甚多。日军仅出动过七架飞机，进行了五次空袭，共投炸弹枚。