回等相遇，杨仲怀的部属都想逃到杜叔宝那里，合力攻击吕安国等人，杨仲怀说：“敌人到了，不出击还等什么？况且统帅在后，不过二三里，等到我们和敌人交战了，还怕他们不来吗？”便冲上前去。黄回带的都是淮南楚地士兵，是国内的极精锐的部队，两军相交，便打败了敌人，在战斗中杀了杨仲怀，杨仲怀的五百部众全部被杀。杜叔宝到时，但见杨仲怀和他的士兵横尸满地，黄回等人想乘机进攻。吕安国说：“他们将会自动逃跑，不需再打。”退兵三十里地驻扎，晚上派骑兵侦察，杜叔宝果然丢下米车逃走。吕安国便当夜前进，烧掉敌军米车，赶着二千头牛回来了。刘顺听说米车被烧掉，杜叔宝逃跑，五月一日夜间，刘的部队也崩溃了，逃回寿阳，接着又逃到淮西依仗常珍奇，刘勔大军于是方轨而进。

杜叔宝集合老百姓和溃兵，加固城池防守，刘勔和各路大军分别驻扎在城外，黄回在肥水边建立浮桥过河，杜叔宝派骑步兵三千人想打破这个浮桥，且截断小岘水坝，黄回奋击大败敌人，烧毁了敌人船舰。

休祐给殷琰写信说：“你本来是文雅书生，一向没有军事才干，这是远近熟悉的，况且国家的皇位，显而易见你是不能有半分希望的。近来发生的事，一定是为小人们逼迫所至，而你又不能坚定。今日朝廷大军前进，已抵达你们的城下，你们力量很小，而且没有增援部队，失败的灾难是一定会来临的，但考虑到当年我们的交情，不免有些可怜你。皇上施天地般的仁惠，赏赐从未有过的恩泽，喜欢救人讨厌杀伐，这是远近人们熟知的。顾琛王昙生等人都兵败逃亡，在野外求生，都得到皇恩的宽恕，安静地呆在家里。今日我军兵锋所向的地方，前面没有对手，况且你们孤小城弱的部队，加上是受到打击的残余，难道能自我保守吗？如果开门投降，还能保住原来的富贵，大小将士们，仍可保原先爵位，何必苟且困扰兵士民众，自找灭亡，招致自己蒙受刀斧的惩罚，妻子儿女被杀，兄长以白发之年在东街市上被砍头。请你自已详细考虑。我每句话都会兑现。如同明夜皓月一般明白。”

明帝又派王道隆带诏书原谅殷琰的罪过。刘勔又给殷琰写信说：“当年景和帝(前废帝)凶恶疯狂，丧尽人伦道德，昏乱暴虐，阴险卑鄙。进谏的道路被堵绝，以致毁坏先帝陵庙，杀戮百官，流毒四方，穷凶极恶，简直没有比这更坏的。当时神灵和人们惶惶无主，无法自保，朝野的官民，都想拯救这危险的时局。我此时正在警卫部门工作，这些都是亲眼所见。皇上奋发神武韬略，迅速拨乱反正。惨遭涂炭的人民，一日间便得到太平。扶持危险拯救急难，确实是自古以来没有过的。但四方心怀疑虑，造成这种叛逆的局面。朝廷大军所向，无不摧破。阁下是高门士族，信义昭著，附和反逆，仍被宽容。令兄殷瑗长史，升进为清显大官，令郎殷邈参军，也被国家选用。前段时期我们进军宛唐，都是由刘顺出谋划策，收敛兵众退守城池，还没有结束。我蒙受皇上大恩，侥幸作了将帅，早年便承蒙阁下欣赏，有依恋的心意，当今皇上威名远播，三方叛军日渐衰弱，胜负形势，昭然若揭。王御史昨日到我这里，皇上的敕书，骠骑大将军的教令，令兄令郎的书信，现在都送给你。百代以来从未有恩泽宽容到这步田地的。况且朝廷正向天下显示信用道义，不需对士人百姓说假话，失信于一州人民。因为足下远见卓识，大概不会要很长时间便会幡然悔悟。如果要背负到底自招祸害，便可打到底，一直到被判死刑。只怕您家再也没有祭祀主人，祖坟也没有扫除的指望，进则愧对忠臣，退则羞对孝子，名实两亏，死有余辜。我尽力简述，还希望仔细阅览。”

殷琰本来没有反叛之心，只因无法制服部将，杜叔宝等人有投降的意思，前后多次派人送想投诚的信件，但众人相互怀疑，无法一致，所以投降的计策总不能相吻合，只好敛城固守。