怖不知所出，但云“唯唯”乃下诏，以遵为丞相，领大司马、大都督、督中外诸军，录尚诸事，加黄钺、九锡。己丑，遵至安阳亭，张豺惧而出迎，遵命执之。庚寅，遵擐甲曜兵，入自凤阳门，升太武前殿，擗踊尽哀，退如东阁。斩张豺于平乐市，夷其三族。假刘氏令曰：“嗣子幼冲，先帝私恩所授，皇业至重，非所克堪；其以遵嗣位。”于是遵即位，大赦，罢上白之围。辛卯，封世为谯王，废刘氏为太妃；寻皆杀之。

石遵自李城发兵，掉头直奔邺城。洛州刺史刘国率领洛阳的部众前来与他会合。讨伐檄文到邺城后，张豺十分害怕，急忙命令包围上白的军队返回。丙戌（十一日），石遵的部队驻扎在荡阴，士兵达九万人，石闵为前锋。张豺打算出去拦截，但邺城的德高望重的老人和羯族士兵都说：“彭城王前来奔丧，我们应当出城迎接他，再也不能为张豺守城了！”于是纷纷翻越城墙跑了出来，张豺虽然以杀头来制止，但也不能奏效。就连张离也率领龙腾卫士二千人，冲破关卡，准备迎接石遵。刘氏十分恐惧，召张豺来到宫中，裴痛地对他边哭边说：“先帝的棺材还没有入土，而祸乱就到了这种地步！如今太子年幼，只能依靠将军您了。将军您打算怎么办呢？我想给石遵加封显赫的官位，这样能安抚住他吗？”张豺这时也十分惊慌害怕，不知道该怎样回答，只是说：“是的是的。”于是刘氏便发下诏令，任命石遵为丞相，兼领大司马、大都督、督中外诸军，总管尚书职事，并给予他以持黄钺、加九锡等特殊权力和礼遇。己丑（十四日），石遵抵达安阳亭，张豺十分害怕，出来迎接，石遵命令拘捕了他。庚寅（十五日），石遵身穿铠甲，炫耀武力，从凤阳门进入邺城，登上太武前殿，捶胸顿足，宣泄悲哀，然后退至东阁。在平乐市杀了张豺，还灭了他的三族。石遵借刘氏之令说：“太子年幼，之所以立他为太子，那是先帝个人的情义所致。然而国家大业至关重要，不是他所能承担的。应当以石遵为继位人。”于是石遵便即皇帝位，实行大赦，并解除了对上白的包围。辛卯（十六日），封石世为谯王，废黜刘氏为太妃。过了不久，便把他们全都杀了。

李农来归罪，使复其位。尊母郑氏为皇太后，立妃张氏为皇后，故燕王斌子衍为皇太子。以义阳王鉴为侍中、太傅，沛王冲为太保，乐平公苞为大司马，汝阴王琨为大将军，武兴公闵为都督中外诸军事、辅国大将军。

李农前来归附谢罪，石遵让他官复原位。尊奉石遵的母亲郑氏为皇太后，立妃张氏为皇后，原来燕王石斌的儿子石衍被立为皇太子。任命义阳王石鉴为侍中、太傅；沛王石冲为太保；乐平王石苞为大司马；汝阴王石琨为大将军；任武兴公石闵为都督中外诸军事、辅国大将军。

甲午，邺中暴风拔树，震电，雨雹大如盂升。太武晖华殿灾，及诸门观阁荡然无余，乘舆服御，烧者太半，金石皆尽，火月余乃灭。

甲午（十九日），邺城内狂风拔树，雷电交加，下的冰雹像盂钵和粮升一样大。太武殿、晖华殿发生火灾，波及到许多门观亭阁，烧得荡然无存，皇宫的车乘服饰，也被烧了大半，金银玉石之类，全都损失殆尽。大火一直烧了一个多月才灭。

时沛王冲镇蓟，闻遵杀世自立，谓其僚佐曰：“世受先帝之命，遵辄废而杀之，罪莫大焉！其敕内外戒严，孤将亲讨之。”于是留宁北将军沭坚戍幽州，帅众五万自蓟南下，传檄燕、赵，所在云集；比至常山，众十余万，军于苑乡；遇遵赦书，冲曰：“皆吾弟也；死者不可复追，何为复相残乎！吾将归矣。”其将陈暹曰：“彭城篡弑自尊，为罪大矣！王虽北旆，臣将南辕，俟平京师，擒彭城，然后奉迎大驾。”冲乃复进。遵驰遣王擢以书喻冲，冲弗听。遵使武兴公闵及李农帅精卒十万讨之，战于平棘，冲兵大败；获冲于元氏，赐死；坑其士卒三万余人。

当时沛王石冲正在镇守蓟城，当听说石遵杀掉了石世自立以后，就对辅佐他的同僚们说：“石世是秉承先帝的旨意继位的，石遵专横地把他废黜并杀掉，再也没有比这更大的罪过了！命令内外严加戒备，我要亲自出征去讨伐他！”于是石冲留下宁北将军沭坚守卫幽州，自己率领五万士兵自蓟城南下，并将讨伐檄文传递到燕、赵之地。他每到一地，人们都云集而来，等到抵达常山，兵众已有十多万。驻扎在苑乡时，石冲见到了石遵实行大赦的诏书，他说：“石世、石遵都是我的弟弟，死去的已无法复生，为什么还要再互相残杀呢！我要返回去了。”石冲手下的将领陈暹却说：“彭城王石遵杀君夺位，自立为帝，罪大恶极！虽然君主您要挥旗北返，但我还将继续南进，等到平定了京师，擒获了彭城王，然后再来恭迎您的大驾。”听到这话，石冲又改变了主意，于是继续前进。石遵急速派王擢送信劝说石冲，但石冲没有听从。石遵便派武兴公石闵及李农率领精锐士卒十万人讨伐石冲。双方在平棘交战，石冲的军队大败。他本人在元氏县被擒。石遵赐他自杀，并活埋了石冲手下的士卒三万多人。

武兴公闵言于遵曰：“蒲洪，人杰也；今以洪镇关中，臣恐秦、雍之地非国家之有。此虽先帝临终之命，然陛下践阼，自宜改图。”遵从之，罢洪都督，余如前制。洪怒，归枋头，遣使来降。

武兴公石闵对石遵进言说：“蒲洪是杰出的人才，如今让他镇守关中，我恐怕秦州、雍州之地就不再会归赵国所有了。让蒲洪镇守关中虽然是先帝临终前的指令，然而如今陛下登位，自然应当改变谋略。”石遵听从了进言，罢免了蒲洪的都督官职，其他的官职待遇则一如从前。蒲洪对此感到愤怒，回到枋头后，便派使者前来向东晋投降。

燕平狄将军慕容霸上书于燕王俊曰：“石虎究凶极暴，天之所弃，余烬仅存，自相鱼肉。今中国倒悬，企望仁恤，若大军一振，势必投戈。”北平太守孙兴亦表言：“石氏大乱，宜以时进取中原。”俊以亲遭大丧，弗许。霸驰诣龙城，言于俊曰：“难得而易失者，时也。万一石氏衰而复兴，或有英雄据其成资，岂惟失此大利，亦恐更为后患。”俊曰：“邺中虽乱，邓恒据安乐，兵强粮足，今若伐赵，东道不可由也，当由卢龙；卢龙山径险狭，虏乘高断要，首尾为患，将若之何？”霸曰：“恒虽欲为石氏拒守，其将士顾家，人怀归志，若大军临之，自然瓦解。臣请为殿下前驱，东山徒河，潜趣令支，出其不意，彼闻之，势必震骇，上不过闭门自守，下不免弃城逃溃，何暇御我哉！然则殿下可以安步而前，无复留难矣。”俊犹豫未决，以问五材将军封奕，对曰：“用兵之道，敌强则用智，敌弱则用势。是故以大吞小，犹狼之食豚也；以治易乱，犹日之消雪也。大王自上世以来，积德累仁，兵强士练。石虎极其残暴，死未瞑目，子孙争国，上下乖乱。中国之民，坠于涂炭，延颈企踵以待振拔。大王若扬兵南迈，先取蓟城，次指邺都，宣耀威德，怀抚遗民，彼孰不扶老提幼以迎大王；凶党将望旗冰碎，安能为害乎！”从事中郎黄泓曰：“今太白经天，岁集毕北，阴国受命，此必然之验也，宜速出师，以承天意。”折冲将军慕舆根曰：“中国之民困于石氏之乱，咸思易主以救汤火之急，此千载一时，不可失也。自武宣王以来，招贤养民，务农训兵，正俟今日。今时至不取，更复顾虑，岂天意未欲使海内平定邪，将大王不欲取天下也？”俊笑而从之。以慕容恪为辅国将军，慕容评为辅弼将军，左长史阳骛为辅义将军，谓之“三辅”慕容霸为前锋都督、建锋将军，选精兵二十余万，讲武戒严，为进取之计。