太后服丧，服丧期满后起用为武烈将军，重新任建康令，中兵参军仍旧保留。景和年间，授予后军将军。宋明帝即位时，任右军将军。

当时四方反叛朝廷，会稽太守寻阳王刘子房和束部各郡都起兵。宋明帝加封太祖为辅国将军，率兵束讨。到达晋陵，与叛贼前锋将领程捍、孙昙罐等交战，一天攻破叛贼十二个营垒。分派军队平定各县，晋陵太守袁标弃城逃跑，东境各城相继逃奔溃散。

徐州刺史薛安都在彭城反叛，他的侄子索儿进犯淮阴，山阳太守程天祚率全城反叛，徐州刺史申令孙又投降叛军，宋明帝征召太祖前往讨伐。当时太祖刚平定东部叛贼回来，又要到南部讨伐。部队出都城后驻扎在新亭，先头部队已经出发，但索儿自睢陵渡过淮河，骑兵步兵万余人，击杀官军将领孙耿，纵兵进逼先头部队张永营地，前方告急。明帝听说叛贼渡过了淮河，急忙召太祖回来前往救援，驻守破釜。索儿向钟离进攻，张永派宁朔将军王宽占据盱眙，阻截他回去的路。索儿击败官军将领高道庆，把他们赶到石鳖，准备西归。王宽与官军将领任农去抢先占据了白鹄涧，张永派遣太祖驰奔王宽部督军，索儿向东阻击太祖，使太祖无法前往。太祖击鼓行军，结成战阵，直接冲入王宽的营垒，索儿望见不敢发兵。过了几天，索儿率军停留在石梁，太祖追击到葛冢，巡逻侦察的骑兵回来报告说敌军到了，太祖于是把部队停留在引管，分派两路骑兵在营两边，等候敌军。一会儿，敌军的骑兵步兵突然赶到，又推出带火的战车数路进攻。双方相持了很久，太祖就派出轻装部队进攻敌军西侧，派骑兵在敌军后侧合击，敌兵大败，追击逃奔的敌兵，缴获他们的武器和仪仗。太祖率部进驻石梁涧北。索儿夜裹派一千人前来偷袭军营，营内惊慌，太祖躺着没有起身，下令身边的人巡视部队，不得骚动，不久敌兵就散去了。太祖谋划想在石梁西南的高地修筑营垒，打通南路，截断敌人的退路。索儿果然前来争夺高地，太祖率军击败了他们，敌军人马自相践踏而死。索儿逃往钟离，太祖追到黯腿才返回。太祖升任骁骑将军，封为西阳县侯，食邑六百户。太祖转任巴陵王卫军司马，随巴陵王镇守会稽。

江州刺史晋安王子勋派临川内史张淹自鄱阳沿着陡峭的山道侵入三吴地区，官军将领沉思仁与伪龙骧将军任皇、镇西参军刘越绪各自占据险要固守。宋明帝派太祖率领三千人讨伐叛军。当时朝廷的武器战甲都补充了南伐的军队，太祖军队装备缺乏。于是编棕皮作为马具马衣，砍竹子作为武器，夜裹举着火把进军。贼军望见恐惧，没有交战就逃走了。太祖还师后任桂阳王征北司马、南东海太守、行南徐州事。

当初，明帝派张永、沈攸之率领军队劝说薛安都投降，对太祖说：“我现在趁此机会北伐，你意下以为如何？”太祖回答说：“薛安都才识不足，狡猾有余。如果对他的控制松缓一些，他一定会派儿子来朝。如今用兵逼他，他就会因为害怕而考虑自存之计，恐怕对国家不利。”宋明帝说：“诸路军队勇猛精锐，无往则不胜。你们策马前行，请不必多说。”薛安都见朝廷兵到，果然招引索虏帮助，张永等兵败彭城。淮南军队势孤力弱，于是任命太祖为假冠军将军、持节、都督北讨前锋诸军事，镇守淮阴。

泰始三年，沈攸之、吴喜北败于睢口，诸位守城的大小官员全部逃回。胡虏于是进到淮北，包围鱼球，负责守城的买法度军力薄弱，不能抵挡。诸位将领劝太祖渡到河北岸救援，太祖不准。派官军将领高道庆指挥数百架弩机，在淮河中的浮船上，远远地射向城外的胡虏。弩机一发数百支箭一起射去，胡虏骑兵率相躲避，然后命令进攻，很快解了城围。太祖升任督南兖徐二州诸军事、南兖州刺史，持节、假冠军、督北讨等职仍旧保留。五年，进位督兖、青、冀三州。六年，任命为黄门侍郎，领越骑校尉，没有接受。又授冠军将军，保留原来的任命。

宋明帝经常疑忌太祖相貌不似人臣，而民间也有流言，说“萧道成当为天子”，明帝更加疑虑。他派遣冠军将军吴喜带三千人出使北方，让吴喜把军队停留在破釜，自己带着银壶装的酒去赏赐太祖。太祖身着戎装出门迎接，当即酌酒喝下。吴喜回来后，明帝心中才高兴起来。七年，明帝征召太祖返回京师，部下劝他不要去京城。太祖说：“诸位看事情不太明白。皇上诛杀自己的各位弟弟，是因为太子幼弱，要作身后之事的考虑，跟其他族的人有何关系。我祇应立即出发，事情延缓了必定被怀疑。如今皇室骨肉自相残害，气运自然不会长久，祸难将要兴起，正好与你们共同努力。”任命太祖为散骑常侍、太子左卫率。当时世祖按军功当另封赣县，太祖认为一门二封，坚决推辞不接受。皇上下诏同意，增加食邑二百户。