兼施的请求，将当政二十年，功绩显赫的相国高明以“表里不一，不堪信任”之名，罢免了丞相之职，让他回乡养老去了。

过于严厉的压抑就容易造成逆反心理，虽然文帝出于国政之需的考虑，对独孤皇后严治内宫的种种制度表示认可和服从，但从他内心感受来说，对于这些清规戒律他早已苦恼和厌烦了。开皇二十一年秋天，独孤皇后偶染微疾，卧病中宫，隋文帝带了一个小太监散步来到宫中后花园纳凉。绕过鸩鹊楼，穿过临芳殿，信步走到了仁寿宫，忽然听到长廊的尽头响起了清脆的歌声，歌声唱道：“金井落梧桐，茱萸烧殿红；君王爱秋色，徘徊仁寿宫。”歌词分明是即兴创作的，有景有事，既符合眼前的情形“君王爱秋色”一句又暗含文帝专意于已近秋岁之年的独孤皇后，无复他顾之意。文帝听了很来兴致，循声寻去，只见一个十七八岁的美貌少女，着一身鲜艳秋装，斜依在廊边边唱边随意地卷弄珠帘，好一副闲雅生趣的秋艳图啊！这个少女是旧时叛官尉迟遇的孙女，尉迟-叛乱被镇压之后，他家的女眷被收在后宫作宫女。文帝一下子被她的灵秀活泼吸引住了，长年埋头于枯燥繁重的国事中，身边又时时守着一位严谨的妻子，文帝多少有些乏味，这里猛一见到活泼可人的尉迟氏，他久已混灭的春心不禁开始复苏，当天夜里就留宿在仁寿宫，与尉迟氏颠鸾倒凤，度过了一个醉人的良宵。第二天清晨，隋文帝猛然惊醒，发觉天已大亮，超过了平时上朝的时间，他不忘自己的责任，匆匆起身赶往朝阁。

尉迟氏这里还沉浸在昨夜的幸福之中，斜靠在床头细细回味，也不起身梳妆。那边宫中的独孤皇后见皇夫整夜未归，心生疑窦，派了心腹侍女探明了究竟，一早便抱病带着一群宫女蜂拥而至仁寿宫。仁寿宫宫女谁也不敢阻拦，任皇后和众宫女风一般地卷入内室，皇后命手下宫女一把拖起衣衫不整的尉迟氏，丢在自己的脚下，大声叱责：“小妖精施展孤媚伎俩，胆敢蛊惑君心，乱我宫中雅化，绝不能容你偷生！”于是一声令下，纤弱的尉迟氏霎时丧命于乱棍之下。

武德殿上的隋文帝正在回味昨夜的快活滋味，突然传来仁寿宫中的噩耗，他顿觉伤心失意之极，心想：“这皇后管得太宽，我堂堂一朝天子竟然就保护不了一个心爱的女子，真太窝囊了！”于是他拂袖而起，骑上一匹骏马，负气出走，跑到深山中一所寺庙中躲了起来。众大臣闻讯急忙寻到寺中，恳请文帝回宫，隋文帝感叹地说：“朕贵为天子，而不得自由！”国不能一日无君，文帝无奈地随大臣返回宫中。

隋文帝盛怒之下，本想下诏废斥独孤皇后，但念及夫妻患难之情，又想妻子之举也是为了辅助自己治国，也就不了了之。而心高气盛的独孤皇后，因病中气恼又加上皇帝出走而受惊，小疾酿成了大病，数月之后，快快而卒。

独孤皇后一死，隋文帝虽然感到失去了一条得力的臂膀，但也觉得是解脱了一种束缚，功成名就，贵拥天下的他，开始尽情享受声色之娱。这时他封了两个宠妃，封陈氏为“宣华夫人”蔡氏为“容华夫人”“宣华夫人”是南朝陈宫留下的美女，丰姿华容，肌肤润腻，温柔可人；“容华夫人”来自北方，风流娇媚，善解人意。两位夫人各具风韵，迷得文帝神魂颠倒，日日欢宴，夜夜春宵，欣快地对人夸道：“朕老矣！情无所适，今得二卿，足为晚景之娱。”