常恐惧谗言出于亲人之口、酒具食器中被投入毒药的事情发生，因此我非常忧虑，念念在心，忧惧遭到危亡的命运。”独孤皇后气忿地说：“地伐越发让人无法忍受了。我给他娶了元氏的女儿，他竟然不以夫妇之礼对待元氏，却特别宠爱阿云，使元氏生下了这么多猪狗一般的儿子。先前，儿媳妇元氏被毒害而死，我也不能特别地追究此事。为什么他对你又生出如此念头！我还活着，他就如此！我死后，他就该残害你们了！我每每想到东宫皇太子竟然没有正室，在你们皇父百年之后，让你们兄弟几个跪拜问候阿云儿，这是多么痛苦的事啊！”杨广又跪在地上，呜咽不止，独孤皇后也悲伤得不能自抑。从此独孤皇后下决心要废掉杨勇而立杨广为太子。

广与安州总管宇文述素善，欲述近已，奏为寿州刺史。广尤亲任总管司马张衡，衡为广画夺宗之策。广问计于述，述曰：“皇太子失爱已久，令德不闻崐于天下。大王仁孝著称，才能盖世，数经将领，频有大功；主上之与内宫，咸所钟爱，四海之望，实归大王。然废立者国家大事，处人父子骨肉之间，诚未易谋也。然能移主上意者，唯杨素耳，素所与谋者唯其弟约。述雅知约，请朝京师，与约相见，共图之。”广大悦，多赍金宝，资述入关。

杨广与安州总管宇文述素来要好，他想拉拢宇文述，于是奏请任命宇文述为寿州刺史。杨广尤其亲近信任总管司马张衡，张衡为杨广筹划谋取皇太子地位。杨广向宇文述请教计策，宇文述说：“皇太子失去皇帝的喜爱已经很久了，杨勇的德行不为天下人所了解。大王以仁孝著称，才能盖世，您几次被任命为统帅军队的将领，屡建大功；皇帝与皇后都对您非常钟爱，四海之内的声望，实际上已为大王所有。但是太子的废立是国家大事，而我处在你们父子骨肉之间，实在不好谋划。然而能使皇帝改变主意的人只有杨素，能与杨素商量筹划的人只有他弟弟杨约。我很了解杨约，请您派我去京师，与杨约相见，一起筹划这件事。”杨广非常高兴，送给宇文述许多金宝，资助他入关进京。

约时为大理少卿，素凡有所为，皆先筹于约而后行之。述请约，盛陈器玩，与之酣畅，因而共博，每阳不胜，所赍金宝尽输之约。约所得既多，稍以谢述，述因曰：“此晋王之赐，令述与公为欢乐耳。”约大惊曰：“何为尔？”述因通广意，说之曰：“夫守正履道，固人臣之常致；反经合义，亦达者之令图。自古贤人君子，莫不与时消息以避祸患。公之兄弟，功名盖世，当途用事有年矣，朝臣为足下家所屈辱者，可胜数哉！又，储后以所欲不行，每切齿于执政；公虽自结于人主，而欲危公者固亦多矣！主上一旦弃群臣，公亦何以取庇！今皇太子失爱于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之口耳。诚能因此时建大功，王必永铭骨髓，斯则去累卵之危，成太山之安也。”约然之，因以白素。素闻之，大喜，抚掌曰：“吾之智思殊不及此，赖汝启予。”约知其计行，复谓素曰：“今皇后之言，上无不用，宜因机会早自结托，则长保荣禄，传祚子孙。兄若迟疑，一旦有变，令太子用事，恐祸至无日矣！”素从之。

杨约当时是大理少卿，杨素凡是要做什么事，都先和杨约商量后再做。宇文述邀请杨约，陈设了许多玩物器皿，和他一起畅饮，一起赌博。每次宇文述都装作下输了，把杨广所送的金宝都输给了杨约。杨约得到很多金宝，就向宇文述略表谢意。宇文述就说：“这些金宝是晋王杨广的赏赐，让我与你一起玩乐的。”杨约大吃一惊，说：“为什么？”宇文述就转达了杨广的意思，劝说杨约：“恪守常规固然是人臣的本份，但是违反常规以符合道义，也是明智之人的期望。自古的贤人君子，没有不关注世情以避免祸患的。你们兄弟功名盖世，执掌大权有多年了，朝臣中被您家侮辱的人数得清吗？还有，皇太子往往想做的事而不能做到，常常切齿痛恨当政的大臣；您虽然主动地结好于皇上，但是要危害您的人本来就很多啊！皇上一旦弃群臣而去，您又靠谁来庇护呢？现在皇太子不为皇后所喜爱，皇上平素就有废黜皇太子的意思，这您是知道的。现在要是请皇上立晋王杨广为太子，那就全凭您哥哥的嘴了。要是真能在这时建立大功，晋王必定永远将这事铭记心中，这样您就可以去掉累卵之危，而地位象泰山一样的安全稳固了。”杨约深以为然，就将此话告诉了杨素。杨素听了，非常高兴，拍着手说：“我的智慧思虑远远达不到这儿，全仗你启发了我。”杨约知道他的计策成功了，又对杨素说：“现在皇后的建议，皇帝无不采纳。应当趁机会早早自动结交依靠皇后，就会长久地保住荣华富贵，并传给子孙后代。兄长若是迟疑，一旦情况发生变化，太子执掌朝政，恐怕灾祸很快就要临头了！”杨素听从了杨约的话。

后数日，素入侍宴，微称“晋王孝悌恭俭，有类至尊。”用此揣后意。后泣曰：“公言是也！吾儿大孝爱，每闻至尊及我遣内使到，必迎于境首；言及违离，未尝不泣。又其新妇亦大可怜，我使婢去，常与之同寝共食。岂若地伐与阿云对坐，终日酣宴，昵近小人，疑阻骨肉！我所以益怜阿者，常恐其潜杀之。”素既知后意，因盛言太子不才。后遂遗素金，使赞上废立。

过了几天，杨素进入皇宫侍奉宴会，他婉转地说：“晋王杨广孝悌恭俭，象他父亲一样。”用此话来揣摩独孤皇后的意思。独孤皇后流着泪说：“您的话说得对！我儿子阿非常孝敬友爱，每次听到皇上和我派宫内的使者去，必定亲自远迎；说到远离双亲，没有一次不落泪的。还有他的妻子也很令人怜爱，我派婢女去她那里，她常与婢女同寝共食，哪象地伐和阿云面对面地对坐崐，整天沉溺于酒宴，亲近小人，猜疑防备骨肉至亲！所以我愈加爱怜阿，常常怕地伐将他暗害。”杨素已经了解了皇后的意思，因此就竭力地说太子杨勇不成器，于是皇后就给杨素财物，让他辅佐文帝进行废立太子之事。

勇颇知其谋，忧惧，计无所出，使新丰人王辅贤造诸厌胜；又于后园作庶人村，室屋卑陋，勇时于中寝息，布衣草褥，冀以当之。上知勇不自安，在仁寿宫，使杨素观勇所为。素至东宫，偃息未入，勇束带待之，素故久不进以激怒勇；勇街之，形于言色。素还言：“勇怨望，恐有他变，愿深防察！”上闻素谮毁，甚疑之。后又遣人伺觇东宫，纤介事皆闻奏，因加诬饰以成其罪。

杨勇非常清楚这个阴谋，感到忧虑恐惧，但是想不出办法来。他让新丰人王辅贤制做了巫术诅咒之物，又在其府邸后园建造了一个平民村，村里的房屋低矮简陋，杨勇时常在其中睡觉休息，他身穿布衣，铺着草褥子，希望以此来避灾。文帝知道杨勇为此不安，在仁寿宫派杨素去观察杨勇的行为。杨素到了东宫，停住不进，杨勇换好衣服等待杨素进来，杨素故意很久不进门，以此激怒杨勇；杨勇怀恨杨素，并在言行上表现出来。杨素回去报告：“杨勇怨恨，恐怕会发生变故。希望陛下多多防备观察。”文帝听了杨素的谗言和诋毁之词，对杨勇更加猜疑了。独孤皇后又派人暗中探察东宫，细碎琐事都上报给文帝，依据诬陷之词而构成杨勇的罪状。

上遂疏忌勇，乃于玄武门达至德门量置候人，以伺动静，皆随事奏闻。又，东宫宿卫之人，侍官以上，名籍悉令属诸卫府，有勇健者咸屏去之。出左卫率苏孝慈为淅州刺史，勇愈不悦。太史令袁充言于上曰：“臣观天文，皇太子当废。”上曰：“玄象久见，群臣不敢言耳。”充，君正之子也。

于是文帝就对杨勇疏远、猜忌，竟然在玄武门到至德门之间的路上，派人观察杨勇的动静，事无巨细都要随时上报。另外，东宫值宿警卫侍官以上的，名册都令归属各个卫府管辖，勇猛矫健的人都要调走。左卫率苏孝慈被调出任命为淅州刺史，杨勇愈加不高兴。太史令袁充对文帝说：“我观察天象，皇太子应当废黜。”文帝说：“玄象出现很久了，群臣不敢说啊。”袁充是袁君正的儿子。

晋王广又令督王府军事姑臧段达私赂东宫幸臣姬威，令伺太子动静，密告杨素；于是内外喧谤，过失日闻。段达因胁姬威曰：“东宫过失，主上皆知之矣。已奉密诏，定当废立；君能告之，则大富贵！”威许诺，即上书告之。