神武号哭着说：“自从天柱遇难后，我贺六浑再也没有靠山了。我祝愿大王您千岁万岁，好让我永远为您服务。如今有人这样挑拨离间，大王您为什么还要讲出这样的话来？”尔朱兆掷刀于地。于是杀白马结盟，再为兄弟。神武留尔朱兆住下，还设宴款待。尉景事前埋伏兵士试图将其生擒。神武咬破胳膊制止说：“现在杀死他，他的部众一定要跑回去聚集兵马报复的。我们的士兵饥饿，战马羸弱，不可抗衡，倘若此时英雄豪杰振臂一呼，那么祸害就会更加厉害。不如姑且让他多活几天。尔朱兆虽然力大敏捷、凶残却无谋略，不是我们的对手。”第二天，尔朱兆返回军营后，又召请神武，神武准备骑马前往，孙腾拉了拉他的衣服，神武就没有上道。尔朱兆隔着漳水大声谩骂，之后跑回了晋阳。尔朱兆的心腹念贤带领降户人家分别组成营伍，神武假装亲近，借口观看他的佩刀，顺势杀掉了他和几个随从，其余的侍卫吓得赶快逃走。因而士众都十分喜悦，更加希望跟从神武。当初，魏真君的侍从文人上书，说上党有天子气，位居壶关大王山。太武帝南巡抵制压迫这种天子气，垒积石块成为三堆，截断北侧的凤凰山，破坏了它的形体。后来定居于晋阳的上党人，称自己的住地叫“上党坊”，事实上，神武就住在这里。等到行进到大王山，驻扎了六十多天才开拔。快出滏口时，更是注意约束部众，力争丝毫不犯。从麦地边走过，神武则步行牵马。远近的民众听说这些事后，都称赞高仪同治兵严整，更是心悦诚服地归顺了过来。继续前进，屯驻邺地，向相州刺史刘诞借粮，诞不给，神武就将车营租米夺了过来。

魏普泰元年(531)二月，神武率军驻扎信都，高乾、封隆之大开城门等候着，很快就占领了冀州。本月，尔朱度律废元晔立节闵为皇帝，想羁縻住神武。三月，请求节闵帝封神武为渤海王，征召使其入朝觐见。神武推辞未去。四月，又加授神武东道大行台、第一镇人酋长。庞苍鹰从太原跑来投奔，神武任命他做行台郎，不久升任安州刺史。神武率众挺进山东，养育兵士，修理武器，禁止侵占掠夺，更赢得了百姓的归附。神武伪造书信，说尔朱兆拟将六镇人分配给契胡为部曲，因此使这些人十分愁苦怨恨。又制成并州符节，征兵讨伐步落稽。发动万人，准备派遣出去，孙腾、尉景假意请求延缓五天动身，这样反复了几次。神武亲自送到郊外，流着泪向六镇人道别，人们都十分悲痛，哭声震天。神武开导说：“我和你们一样，同是流离失所之人，正因为如此，我们就是一家人，想不到大王突然有此征召。一直向西吧，按法令规定该杀；延迟军期吧，也是被杀；分配给契胡人吧，还是死，怎么办啦？”六镇人说：“只有反了。”神武说：“造反是最好的办法，但应推举一人主持。”众人都愿意听从神武指挥。神武又说：“我们乡下人难以约束，葛荣的下场大家看到过吧？虽拥众百万，无条令法律，结果便是自取灭亡。眼下大家推我为主，应当与以前有所区别，即不得欺侮汉人，不得触犯军令，死生均听任我安排才行，否则，就会被天下人耻笑。”众皆诺诺，死生听命。神武佯装无可奈何，次日，杀牛犒劳士卒，宣布攻讨尔朱兆的用意。封隆之进言说：“真是千载一时的好机会，天下所有人的大幸。”神武回答说：“讨伐盗贼，大顺民心；拯救时局，大功伟业。我虽不武，以死继之，哪敢推辞呢。”

六月，在信都举起义旗，但还没有公开背叛尔朱氏。到李元忠与高乾平定殷州，斩尔朱羽生头颅前来拜谒，神武捶胸道：“今天反叛定了！”于是便委元忠为殷州刺史。此时，军力猛增，乃上书揭发尔朱氏罪行，但世隆等人扣压上书没有向节闵帝禀告。八月，尔朱兆攻克殷州，李元忠逃到了神武驻地。孙腾认为朝廷隔绝，不临时立一天子，那么众望就无所归依。十月，奉章武王融之子渤海太守朗为皇帝，年号中兴，这便是魏朝的废帝。时度律、仲远军队驻扎在阳平，尔朱兆与他们见了面。神武采用窦泰计策，实行反间，度律、仲远不战而返，神武便在广阿打败了尔朱兆。十一月，进攻邺城，相州刺史刘诞闭城固守，神武命令兵士堆起土山，挖掘地道，并到处立起大木柱，之后一齐点火焚烧这些柱子，城陷到了地下。这时麻祥为汤阴县令，神武喊他“麻都”，麻祥羞愧，逃走了。永熙元年(532)正月，攻克邺城，并占领了它。废帝晋升神武为大丞相、柱国大将军、太师。与此同时，青州树起义旗的大都督崔灵珍、大都督耿翔均派遣使者请求归附，行汾州刺史事刘贵弃城前来投降。闰三月，尔朱天光从长安，尔朱兆由并州，度律从洛阳，仲远由东都出发会合邺城，号称兵众二十万，依洹水布置战阵，节闵帝委派长孙承业为大行台总督其事。神武命令封隆之固守邺城，自己率兵离邺屯驻紫陌。此时神武拥有的战马不足二千，步兵不满三万，众寡悬殊。神武在韩陵布置圆形军阵，连结牛驴阻塞了归路，