朝廷的重任，居于亿兆人之上呢？我过去穿的衣服，各保留了一件，经常再拿出来看看，自诫不可奢侈。又曾准备分赐给你们兄弟。恐怕你居于皇太子之位，忘记了过去的事情，因此就令高赹将我往日所带的刀子一枚，咸菜酱一盒赐给你，你过去作上士的时候，经常吃的就是这样的食物。你若能记起以前的事情，就应该明白我的用心。”

后来过冬至节，文武百官朝觐杨勇，杨勇置乐接受祝贺。文帝知道了这件事，问朝中大臣说：“近日听说冬至节时，内外百官都陆续去朝贺东宫太子，这是什么礼节呢？”太常少卿辛。。回答说“：对东宫来说是祝贺，不能说是朝贺。”文帝说“：祝贺改换季节，有三几十人，酌情分别去祝贺就可以了，为何让有司征召，满朝文武都聚集起来，太子穿着法定的服装置乐招待群臣呢？东宫太子这样做，大违礼法！”于是就下诏书说“：皇太子虽然位居皇嗣，但名义上还是臣子，而各地长官正冬朝贺，带着本地的贡物，另贡奉给东宫。此事不合礼法，应全部停止。”

自此以后，恩宠开始减少，疑虑阻隔渐渐滋生。其时，文帝命令选择豪强之士进入皇宫护卫，高赹奏道：“如果把强壮之士都选进来，恐怕东宫的护卫太弱。”文帝厉色道：“我有时要走动走动，护卫一定要雄健刚毅。太子德布东宫，手下的人何须强壮英武？如果像你对我说的那样，轮流值班的时候，护卫一直分别在东宫下巡护，与禁卫军的职责没有什么区别，岂不是多此一举？前朝的事情我很熟悉，你不必用前朝的旧俗来劝我！”原来，文帝对高赹的儿子娶杨勇的女儿有怀疑，故意说出这番话来防备他们。

杨勇有许多宠幸，昭训云氏原是侍妾，礼义却与正妻一样。妃子元氏不得宠爱，曾经害有心痛病，二日就死了。献皇后另有想法，对杨勇大加责备。自妃元氏死后，云昭训独断东宫内政，献皇后更加不高兴，多次追究杨勇的罪过。晋王杨广知道后，愈加装模作样，诸多姬妾只是充数而已，只宠幸萧妃一人。皇后因此看不起杨勇，愈加称赞晋王的德行。后来，晋王入京朝见，车马侍从，都很节俭朴素，与朝臣交往，礼仪极为谦卑，因此声名大振，超过了其他诸王。临回扬州，晋王进宫向皇后辞行，哽咽流涕，伏地而不能起。皇后凄然泪下，相对哭泣。晋王说“：臣生性愚鲁，平生常守兄弟之意，不知因为什么罪，得罪了东宫，常怀盛怒，欲对臣加以屠戮陷害。常恐谗陷出于妇人，鸩毒遇于杯杓。”皇后愤怒地道“：目见地伐越来越让人不能忍受，我替他娶得元家女子，希望基业兴隆，竟然没听说有夫妻之事，而独宠阿云，竟有这样的猪狗！元妃先前本来没有病痛，忽然就死了。定是太子投毒，致使元妃早逝。事情已经这样了，我也不深加追究。为何又在你这里生出这样的念头？我活着时他尚且这样做，我死后你还不任人宰割吗？我常常想东宫至今尚无正妻，等你父亲死后，让你们兄弟向阿云拜揖问安，这该是多么大的痛苦啊！”晋王又拜，哭泣不止。皇后亦不胜悲痛。

自这次分别之后，晋王知道皇后已移意他人，就开始谋划争夺太子之位。于是就传唤张衡商定计策，派遣褒公宇文述深交杨约，令他传旨给越公杨素，把皇后那一番话都告诉杨素。杨素惊异道“：只是不知道皇后会怎么样？如果像说的那样，我又能够做些什么！”过了几天，杨素入宫侍宴，稍稍称赞晋王孝悌恭俭有礼，借此揣度皇后的意思。皇后哭着说：“你说的很对。晋王十分孝顺，每次听说皇上和我派遣使者到扬州，必定到州境边迎候。他新纳的嫔妃也十分可怜，我的使婢到那里，常常和那些嫔妃同寝共食。怎么会像目见地伐和阿云那样相对而坐，终日酣宴，亲近小人，怀疑阻隔亲骨肉呢？我所以更加怜爱阿。。，就是恐怕他被人暗害。”杨素既然知道了皇后的意思，大说特说太子没有能力。皇后就赠给杨素金钱，开始有了废立太子的意思。

杨勇对晋王的计谋有所知晓，忧愁恐惧，没有什么对策。听说新丰人王辅贤会占星相，召来询问。辅贤说：“白虹横贯东宫之门，太白星袭于月宫，这是皇太子废退之象。”用铜铁五种兵器打造符咒以镇邪。又在后园中修庶人村，房屋低下简陋，太子时常在里面休息，布衣草垫，希望能借此阻挡恶运。文帝知道杨勇心中不安，在仁寿宫召见杨素，让他去观察杨勇的动静。杨素到了东宫，悄声无息地躲在外面，没有进去。杨勇穿戴整齐等待他，他就故意不进去，用以激怒杨勇。杨勇怨恨杨素失礼，怒形于色。杨素回宫，说杨勇甚为怨恨，恐怕发生变故。文帝非常怀疑。皇后又派人偷偷地去东宫察望，大小事情都要奏报，借以构陷诬害，谋成其罪。文帝被他们迷惑，就开始疏远忌恨杨勇。于是就在玄武门至至德门之间安排岗哨，窥伺东宫的动静，有事立即奏知。又将东宫侍官以上的护卫，都划归卫府管辖，强壮勇武的卫士也都被调开了。