派总管李世责力、程咬金、秦叔宝抵挡宋金刚的北面军队，翟长孙、秦武通抗击宋金刚南面的军队。诸军战斗稍稍退却，被贼兵所战胜。太宗率精锐骑兵攻击他，冲击他行阵的后部，贼众大败，追打数十里。敬德、寻相率领残部八千人来归降，仍旧命敬德统率，与太宗军营混在一起，屈突通害怕尉迟敬德发生叛变，迅速以此向太宗请求不要让尉迟敬德率兵。太宗道“：过去萧王对人推心置腹，都能尽力效命，现在委任敬德，又何必疑惧。”这时刘武周奔到突厥，并、汾二州又全部恢复了旧地，高祖诏命就在军中加拜太宗为益州道行台尚书令。

七月，太宗统率各军在洛邑攻打王世充，军队驻扎在谷州。世充率精兵三万在慈涧扎阵，太宗用轻骑兵引逗他。当时众寡不敌，太宗陷入重围，左右的人都恐惧。太宗命令左右的人先行归营，独自一人率军在最后。世充的勇将单雄信数百骑兵夹道进逼，争先进攻，太宗几乎被他打败。太宗张弓箭左右射敌，贼众没有一个不是应弦而倒，俘虏了世充的大将燕颀。世充于是将慈涧之兵改移回到东都。太宗派行军总管史万宝从宜阳往南占据龙门，刘德威从太行往东包围河内，王君廓从洛口斩断贼军运粮通道。又派黄君汉连夜从孝水河中下舟船偷袭回洛城，攻克了回洛城。黄河以南，没有一个地方不响应，城堡一个接一个前来归降。大军进驻邙山。九月，太宗用五百骑兵先行观察战场地势，终于与王世充一万多人相遇，两军交战，太宗再次攻破了他，斩首级三千个，俘虏了大将陈智略，世充仅仅本人逃脱。他所部署的筠州总管杨庆派使者请求归降，太宗派李世责力率军从頧辕道出去安抚杨庆的部众。荥、汴、洧、豫九州一个一个前来归降。世充于是向窦建德求救。

武德四年(621)二月，太宗又进驻青城宫。太宗营垒尚未建立，世充之军队二万人从方诸门面临谷水扎阵。太宗以精锐骑兵在北邙山扎阵，令屈突通率五千步兵渡水攻击王世充，并趁机告诫通道“：等到双方交战时就放烟，我当率骑兵南下。”双方军队才接战，太宗用骑兵冲锋，自己挺身冲锋在前，与屈突通里外呼应。贼众拼死作战，多次打散又多次聚合。从早晨七点至九点一直战到下午一点，贼众才开始退却。太宗指挥兵士追击，俘获、斩首共八千人，于是进兵屯营到城下。世充不敢再出战，只是环城自守，以等待窦建德救援。太宗派遣诸军挖掘壕沟，环绕布置长期围守。吴王杜伏威派遣他的大将陈正通、徐召宗率精兵二千人前来在太宗军营会合。伪郑州司马沈悦以武牢来投降，将军王君廓响应，活捉伪荆王王行本。

恰巧窦建德率兵十余万来援救王世充，到达酸枣。萧王禹、屈突通、封德彝都因为腹背受敌，恐怕不是万全之策，请求退师到谷州来观看形势。太宗道“：世充粮食已尽，内外离心，我军不需攻击，可以坐收敌军破败之功。建德新近攻破孟海公，将官骄傲士兵怠惰，我军当进攻占据武关，扼守山川要冲。贼假若与我军争胜负，我攻破贼军是必然的了。如果不战，十日之间世充当会自我崩溃。若不急速进攻，贼军进入武牢，诸城刚刚归附，必定不能坚守。二贼力量合并，将能把他们怎么办呢？”屈突通又请求解围到险要之处以等候敌军内部生变，太宗不同意。于是留屈突通辅助齐王元吉以包围王世充，亲自率领骑兵三千五百人奔赴武牢。

窦建德从荥阳西上，筑营垒在板渚，太宗驻军在武牢，两军对峙二十多天。探听消息的人报告道“：建德探听官军牲畜的饲料已尽，等候在黄河北岸放马吃草时，趁机偷袭武牢。”太宗知道他们的阴谋，于是放马在黄河北岸吃草来诱敌。早晨，建德果然率全部兵马到来，陈列军队在汜水之上，世充大将郭士衡扎阵在南面，绵延数里，呐喊，诸将大为恐惧。太宗率几名骑兵登上高高土丘遥望敌军，对诸将道：“贼人起兵山东，没有遇见过强大的敌人。现在渡过险要之处而叫嚣，这是没有政令的表现；逼近城墙扎阵，有轻视我们的思想。我按兵不出，敌军气势便衰竭，扎阵太久士卒饥饿，必将自我撤退，这时再来追击，可以无往而不胜。我与你们约定，必定在午时以后攻破敌军。”建德排出阵势，从上午七点直到下午一点，兵士又饿又累，都坐在阵列中，又争着饮水，顷刻间又收敛退却。太宗道“：可以攻击了！”亲自率领轻装的骑兵追击引诱敌军，大军陆续赶到。建德回军扎阵，还来不及整顿阵列，太宗先行攻击，攻击所向，敌军纷纷溃散。不久，众军会合作战，尘土飞扬，呼叫四起。太宗率史大奈、程咬金、秦叔宝、宇文歆等挥动大旗冲入，直接突入到阵后，张挂我军旗帜。贼人回头看见官军旗帜，全军崩溃。追逐攻打三十里，斩首级三千多个，俘虏贼众五万，在阵中活捉窦建德。太宗责备他道：“我兴师问罪，本在王世充，得失存亡，不干你事，为什么越过边境，冒犯我军锋锐？”建德恐惧，两腿发抖说“：现在我假若不来，怕麻烦你远远地攻取我！”高祖听后大喜，亲手写诏书道：“隋朝分崩，崤山、函谷关隔绝。两雄会合，一朝清平。军队已经获胜，更没有死伤。做臣子的不惭愧，做君父的不担忧，都是你的功劳。”