福。

高祖于是逐渐疏远和猜忌杨素，后来下来力令说：“仆射是朝廷的辅政大臣，不可亲自处理那些细小的事务，只须三五天到官署一次，讨论一些国家大事就行了。”表面上显示对他的尊崇、优待，实际上剥夺了他的权力。

直到仁寿末，杨素不再处理事务。

高祖曾赏赐王公以下的人射箭，杨素名列第一，高祖亲将外国进贡来的金精盘，价值万两，赐给了杨素。

仁寿四年(604)，杨素跟随高祖驾临仁寿宫，高祖又多次赏赐宴席。

等到高祖病重，杨素和兵部尚书柳述、黄门侍郎元岩等人入宫侍候。

当时皇太子杨广住在宫内的大宝殿，怕高祖有什么不好的消息须要预先防备，于是亲自写了一封信，封好送出来问杨素。

杨素记下宫外的形势，来报告太子。

宫人却将回信误送到了高祖的住处，高祖见信大怒。

这时，高祖宠爱的陈贵人又说太子对她无礼。

高祖于是大发脾气，要召见已废的皇子杨勇。

太子与杨素谋划对策，杨素假传圣旨派东宫的士兵入宫守卫，出入都由宇文述、郭衍决定，又命令张衡守候皇上的病情。

高祖就在这天去世了，因此朝廷内外有很多非议。

汉王杨谅谋反，派蠕蠕天保占领蒲州，烧断了河桥，又派王耳冉子率领几万人与他合力防守。

杨素率领五千轻骑前去偷袭，他先隐蔽在渭口，夜间悄悄渡河，黎明时发动进攻，蠕蠕天保大败而逃，王耳冉子因害怕而开城投降。

炀帝下诏书召回杨素。

起初，杨素出发之前就计算过几天可以打败敌人，结果不出所料。

炀帝又拜杨素为并州道行军总管、河北安抚大使，率领几万人讨伐杨谅。

当时晋州、绛州、吕州州城都被杨谅守住，杨素各派两千人去牵制他们。

杨谅命令赵子开拥十余万之众，占领了所有的道路，盘踞在高壁，摆开五十里的战阵。

杨素命令部将带兵正面对敌，自己则率领一支队伍潜入霍山，沿着悬崖深谷前进，直捣叛军老巢，一举击败了他们，杀死杀伤的数以万计。

杨谅所任命的介州刺史梁修罗驻守在介休，梁修罗听说杨素来了，非常害怕，弃城而逃。

杨素继续前进，到达清源，离并州还有三十里。

杨谅率领部将王世宗、赵子开、萧摩诃等将近十万人马，前来迎战。

杨素又打败了他们，活捉了萧摩诃。

杨谅退守并州，杨素进兵包围了他，杨谅无计可施，非常窘迫，只好投降，其余党羽也都一一铲平。

炀帝派遣杨素的弟弟修武公杨约携带亲笔诏书慰劳杨素，杨素见诏后也上表陈述了自己的谢意。

这个月杨素回到京城，跟随炀帝驾临洛阳。

炀帝任杨素为营建东京的大监。

因杨素平定杨谅有功，炀帝拜他的儿子万石、仁行，侄子玄挺都为仪同三司，并赐给他们织物五万段、绮罗一千匹，赐杨谅妓妾二十人。

隋炀帝大业元年(605)，又升杨素为尚书令，赏赐给他东京上等府第一处，织物两千段，不久又拜为太子太师，其他职务不变。

前后赏赐给他的东西不知有多少。

第二年，炀帝拜杨素为司徒，又改封他为楚公，食邑两千五百户。

这一年，杨素死在任上。

谥号叫“景武”，追封他为光禄大夫、太尉公、弘农河东绛郡临汾文城河内汲郡长平上党西河十郡太守，赐给他载丧的鍂车、为他执斑剑的仪仗四十人，以及鍂车前后的仪仗队和乐队，还赐给谷子小麦五千石、织物五千段，派鸿胪卿专门监督办理丧事，并且下诏书表示哀悼。

杨素曾经作了一首共七百字的五言诗送给番州刺史薛道衡，气势非常宏大，风韵出众，堪称一时的上乘之作。

写后没几天，杨素就死了。

薛道衡叹息说：“人快要死的时候，他的话语也变得很友善了，难道就是像这样的吗？”杨素留有文集十卷。

杨素虽然有辅佐高祖建国立业的谋略，并且有平定杨谅的功绩，然而却深为炀帝所忌。

炀帝表面显出对他特殊的礼遇，实际上恩情却很淡薄。