魏大统元年(535)春正月二日，太祖升任督中外诸军事、录尚书事、大行台，改封安定郡王。　太祖坚持不受郡王之封及录尚书事之职，魏帝答应，于是改封安定郡公。

东魏派将领司马子如侵犯潼关，太祖驻军霸上，司马子如撤军，从蒲津侵犯华州，被刺史王罴击退。

三月，由于战争、劳役不息，官民劳顿困苦，太祖就命令部属参酌古今成例，加以变通，选择可以益国利民，合乎农时，宜于施政的，定出二十四条新制，奏请魏帝推行。

二年(536)春三月，东魏攻陷夏州，留将领张琼、许和镇守。

夏五月，秦州刺史、建中王万俟普拨率领部属叛变，窜入东魏。

太祖指挥轻装骑兵追赶，在黄河以北追赶一千余里，没有追上，将军队撤回。

三年(537)春正月，东魏侵犯龙门，驻军蒲坂，造三道浮桥，打算渡过黄河。

又派将领窦泰进攻潼关，高敖曹包围洛州。

太祖从广阳出军，召集众将说：“如今贼军从三面拖住我军，又在黄河上架起浮桥，显示定要渡河，这是想吸引我军，使窦泰乘机西进。

我军与贼军久久相持不下，贼军诡计即可得逞，这不是好的计策。

况且高欢起兵以来，窦泰必任先锋，其部下多精锐士卒，屡屡告捷而骄傲自满。

如今出其不意，突施袭击，一定可击败他。

一旦击败窦泰，高欢必不战而自退。”诸将都说：“贼军在近处，舍弃近敌而奔袭远贼，倘若失利，后悔就来不及了。”太祖说：“前时高欢再度袭击潼关，我军未过霸上。

如今敌人大举来犯，而我军尚未走出京郊。

贼人以为我军只图自守，并无远行迎战的打算，又傲慢成性，轻视我军。

乘此进攻，为何不可取胜？贼军虽已造桥，但无法迅速渡河。

这五日之内，我必定活捉窦泰。

各位不要怀疑。”八日，太祖率骑兵六千人返回长安，扬言要保卫陇山以西。

九日，朝见皇帝后，悄悄出兵。

十一日黎明，抵达小关。

窦泰突然听说我军开到，惊慌恐惧，背靠山岗布阵，阵势尚未布好，太祖放手猛攻，大败敌军，将其部众一万余人全部俘虏。

斩杀窦泰，把他的首级传示长安。

高敖曹恰在此时攻陷洛州，捉住刺史泉企，听说窦泰被杀，就焚毁军用物资，弃城而逃。

齐神武也撤桥退兵。

泉企之子泉元礼随即收复洛州，斩东魏刺史杜密。

太祖领军返回长安。

六月，派仪同于谨攻占杨氏壁。

太祖请求取消行台之职，魏帝又申明上次的诏命，太祖接受录尚书事一职，对其他职务再三谦让，魏帝同意。

秋七月，征调军队，在咸阳会合。

八月十四日，太祖率领李弼、独孤信、梁御、赵贵、于谨、若干惠、怡峰、刘亮、王直心、侯莫陈崇、李远、达奚武等十二名将领东征。

抵达潼关后，太祖告诫将士道：“我与你们众将士，上奉天威，诛灭暴乱。

你们将士，要整理好自己的盔甲兵器，准备作战，不得因贪财而轻敌，不得害民以逞威。

效力则有赏赐，不效力则有惩罚。

各位将士要自我勉励。”派于谨居大军之前，一路进攻至般木豆。

东魏将领高叔礼固守栅栏，攻不进去，于谨加紧进攻，高叔礼投降。

俘虏其士卒一千人，将高叔礼送到长安。

二十五日，抵达弘农。

东魏将领高干、陕州刺史李徽伯固守。

当时连绵多雨，太祖命令各军冒雨进攻。

二十七日，城墙崩塌，斩李徽伯，俘虏其战士八千人。

高干逃走，渡过黄河，令贺拔胜追上捉住，一块押送长安。

于是宜阳、邵郡都来归附。

最初，黄河以南豪杰大多聚兵响应东魏，到这时都率部属前来投降。

齐神武害怕，率军十万从壶口出发，向蒲坂推进，准备从后土渡河。

又派将领高敖曹率三万人从黄河以南出兵。

当年，关中饥荒。

太祖平定弘农后，在当地筹措军粮五十余天。

当时战士不到一万人，听说齐神武即将渡黄河，就领军入据潼关。

齐神武渡过黄河，进逼华州。

刺史王罴严密防守。

齐神武知道无法攻克，就涉过洛水，驻扎在许原以西。

太祖占据渭水以南，征调各州兵马，均未会合。

于是召集诸将，对他们说：“高欢翻过高山，渡过黄河，从远处来到这里，这真是上天灭亡他的机会。

我打算进攻他，怎么样？”诸将都认为敌众我少，难以抵挡，请求等高欢向西再深入一些，以相机行事。

太祖说：“高欢如果得以抵达咸阳，人心就会骚动。