七月，之芳与赖塔阅兵水亭门，率总兵官李荣、副都统瑚图等薄贼垒，军坑西。之芳手执刀督阵，或请少避，之芳曰：“三军司命在吾，退即为贼乘。今日胜败，即吾死生矣！”守备程龙怯战，斩以徇。麾众越壕拔栅，败之。遣陈世凯乘胜复义乌、汤溪，鲍虎复寿昌、淳安，牟大寅破常山，王廷梅败贼于金华石梁、大沟源，李荣亦复东阳，复败贼于金华寿溪，馘贼将，毁寨十八。参将洪起元复嵊县。诏嘉之芳调度有方。

十月，贼将桑明等五万众由常山逼衢州西沟溪，倚山为营，觊联南路贼巢。之芳与赖塔议，出不意，遣廷梅与参领禅布夜趋沟溪，分队进攻，又大破之，贼弃营遁。

十四年，康亲王杰书破曾养性金华，复处州；贝子傅拉塔亦复黄岩，进围温州。惟九玉踞江山、常山、开化，连寨数十，与之芳相持。五月，乘大雨河溢，由南塘捣贼前岭，阵斩七百馀级。十五年，遣将自遂安连破贼寨，遂复开化。

会郑锦入漳、泉，耿继祚方攻建昌溃营遁。上知闽中有变，命王撤温州之围取福建，之芳乃建议直捣仙霞关，曰：“进取之路，不在温、处而在衢。虽九玉死守河西难猝破，然其南江山，西则常山，皆间道可袭。我兵一进，使彼首尾受敌，即河西之垒不能独完。”王至衢州，从之芳议。遂进兵大溪滩，复江山，九玉走，欲别取道夺仙霞。诸将受之芳密檄，急据关夹击，其将金应虎等穷蹙降。

王师下福建，临行，之芳启曰：“王但饬诸军勿虏掠，即长驱入，兵可不血刃也。”未几精忠降，温、处贼皆溃散。精忠所署置总兵马鹏、汪文生、陈山，将军程凤等犹踞玉山、铅山、弋阳、德兴，之芳请会剿。时吴三桂兵寇吉安、袁州，江西兵不能东，乃独遣兵复玉山，文生遁；自白沙关趋德兴，擒鹏；遣游击郭守金等复铅山、兴安、弋阳、贵溪诸县。上嘉之芳剿贼邻省有功，加兵部尚书衔。

十六年，遣参将蒋懋勋等败贼玉山椒岩，山降。先是文生、凤皆乞降，而凤病死，其妻王玉贞籍所属六万八千馀人就抚，而精忠将林尔瞻犹拥众石垅。之芳令懋勋等扼要隘，自以数十骑入寨，往抚慰之，尔瞻乃降。十七年，击贼子午口，克八仙、老鼠诸洞，贼寨悉平。郑锦寇濒海，遣将严守御，败之于庙岭湖，又败之于温州。锦将詹天枢诣世凯降。十八年，檄定海总兵牟大寅斩锦将童耀等孝顺洋，夺获船只、器械以还。

之芳练世故，沉几善谋。康亲王师将行，问之芳：“所策固万全乎？”之芳曰：“军已发，犹豫则士气沮。”乃诣王曰：“虏在吾目中久，明日捷书至矣！”前军捷书果至，杰书大喜，以为神。在杭州，与将军图喇约为兄弟。精忠既叛，语图喇勿纵兵暴民。有满兵犯法，之芳缚诣图喇，以军法治之，一军肃然。浙乱平，疏请蠲被兵州县额赋，安辑流亡，甚有威惠。所拔偏裨，皆累功至方镇，而之芳以督臣不叙。久之，追论大溪滩破贼功，授拖沙喇哈番，准袭一次。