千五百户，并赏赐给他粮食、布帛、奴婢、牲畜。

后来杨素跟随王轨在吕梁击败陈将吴明彻，管理东楚州的事务。

武帝又封他的弟弟杨慎为义安侯。

陈将樊毅在泗口筑城，杨素击走了他，并荡平了他所筑的城墙。

周宣帝登基后，杨素继承了父亲临贞县公的爵位。

宣帝又封他的弟弟杨约为安成公。

不久跟随韦孝宽巡行淮河以南，杨素又单独攻下了盱眙、钟离两地。

高祖当丞相时，杨素便与高祖深深交好，高祖很看重他，派他做汴州刺史。

赴任途中，走到洛阳，恰逢尉迟迥叛乱，荥州刺史宇文胄占据虎牢和尉迟迥相应，杨素不能前行。

高祖拜杨素为大将军，调发河内之兵进攻宇文胄。

打败宇文胄后，杨素升为徐州总管，又进位为柱国，加授清河郡公，食邑二千户。

他的弟弟杨约也被封为临贞县公。

高祖受禅后，加封杨素为上柱国。

开皇四年(584)，拜他为御史大夫。

杨素的妻子郑氏性情凶暴蛮横，杨素曾怨恨地说：“我如果当了天子，你一定不能作皇后。”郑氏把这话奏给高祖，他因此被免官。

高祖正想谋取江南，这之前，杨素曾多次进献夺取陈国的计策，没多久，高祖就拜杨素为信州总管，赏赐给他钱一百万、锦一千段、马两百匹而派他去信州。

杨素住在永安，造了一种大船，名叫五牙，上面建了五层高楼，高达一百多尺，前后左右共配置了六部名为“柏竿”的战具，都高五十尺。

船上可容纳八百多名士兵，旗帜放在上边。

另外一种船，稍稍小一些，起名黄龙，可配置士兵一百来人。

其余的平乘船、舴艋舟，各有不同。

等到大举伐陈时，高祖封杨素为行军元帅，率领水军奔赴三硖。

大军行至流头滩，陈将戚欣凭借一百多艘青龙船，屯兵几千人驻守在狼尾滩，阻挡大军去路。

那里地势峻峭险要，将领们都忧心忡忡。

杨素说：“成败在此一举。

如果我们白天乘船而下，他们就会看见我们，滩险水急，天制不由人力，那么我们就失去了有利的条件。”于是决定在夜里攻其不备。

杨素亲自率领上千艘黄龙舰，命令士兵把枚衔在口中，悄悄顺流而下，并派遣开府王长袭率领步兵从南岸进攻戚欣另外的营寨，命令大将军刘仁恩率领披甲持械的骑兵进攻白沙北岸。

天快亮的时候，队伍都抵达了目的地。

进攻敌军，戚欣大败而逃，他的部下全部被俘。

杨素安抚俘虏后送走了他们，秋毫无犯，陈国人非常高兴。

杨素率领水军继续东下，大小战船铺满了整了江面，旌旗盔甲在阳光下鲜艳耀眼。

杨素端坐在平乘大船之上，容貌体魄雄健魁伟，陈国人望而生畏，都说：“清河公就是长江之神啊！”陈国南康内史吕仲肃屯兵岐亭，正好占据了江峡。

他在北岸凿穿岩石，连接了三条铁锁链，横断长江上游，用来阻挡战船前进。

杨素和仁恩先登陆攻打吕仲肃的营寨，吕仲肃的队伍夜里溃逃，杨素从容地除掉了那些铁链。

吕仲肃又占领荆门的延洲。

杨素派巴。。之地的士兵一千人，分乘四艘五牙船，用船浆击碎了十多艘敌舰，于是大破敌军，俘虏敌兵两千多人，吕仲肃一人逃脱。

陈后主派信州刺史顾觉镇守安蜀城，荆州刺史陈纪镇守公安，他们都因害怕杨素而退走。

从此，巴陵以东无人敢守。

湘州刺史、岳阳王陈叔慎派使节恳请投降。

杨素顺流而下，直抵汉口，和秦孝王会合。

班师回朝后，高祖拜杨素为荆州总管，晋封郢国公，食邑三千户，实食长寿县的一千户。

高祖又封他的儿子玄感为仪同，封玄奖为清河郡公。

并赏赐绵绢一万段，粮食一万石，还有一些黄金、珠宝，又把陈后主的妹妹和女乐十四人也赏赐给他。

杨素对皇上说：“乡里名叫‘胜母’，孝子曾子就不进去；叛逆之人王谊，以前曾分封于郢地，我不想和他一样。”于是高祖改封他为越国公，不久又拜纳言之职。

一年多后，转任内史令。

不久，江南人李棱等聚众叛乱，多的达几万人，少的也有几千人，互相响应，杀害官吏。

高祖任命杨素为行军总管，率众讨伐。

叛贼朱莫问自称南徐州刺史，以重兵占据京口。

杨素率领水军从扬子津攻入，进而击败了他们。

晋陵的顾世兴自称为太守，和他的都督鲍迁等又来拒战。