和，立马长久，一直到半夜才回到宫中。独孤皇后也一直坐在寝宫内等候文帝，文帝回来后，皇后涕泪交流，拜谢请罪，高、杨素等人又好言劝解，于是隋文帝才高兴起来，置酒设宴欢乐。以前，独孤皇后由于高是父亲独孤信的家客，对他很客气礼敬，这件事发生后，得悉高称自己为一妇人，因此怨恨他。

时太子勇失爱于上，潜有废立之志，从容谓曰：“有神告晋王妃，言王必有天下，若之何？”长跪曰：“长幼有序，其可废乎！”独孤后知不可夺，阴欲去之。

当时皇太子杨勇失去了隋文帝的宠爱，文帝暗地里起了废立的念头，曾经从容地对高说：“有神告诉晋王杨广的妃子，说晋王必定享有天下，你说该怎么办？”高长跪不起，回答说：“长幼有序，怎么可以废黜太了？”独孤皇后知道高在废立问题上肯定不会曲意赞成，于是暗中打算把他赶出朝廷。

会上令选东宫卫士以入上台，奏称：“若尽取强者，恐东宫宿卫太劣。”上作色曰：“我有时出入，宿卫须得勇毅。太子毓德春宫，左右何须壮士！此极弊法。如我意者，恒于交番之日，分向东宫，上下团伍不别，岂非佳事！我熟见前代，公不须仍踵旧风。”子表仁，娶太子女，故上以此言防之。

恰好隋文帝下令挑选东宫卫士到皇宫上台值班宿卫，高上奏说：“如果陛下把强壮的卫士都选走，恐怕东宫的宿卫力量太弱。”文帝脸色大变说：“我时常出外巡幸，所以宿卫之士必须要壮勇强健。而太子只需要安坐东宫培养仁德，左右那里用得着壮士缩卫！所以在东宫保持强大的警卫力量是极大的弊政。卫士中合我意的，经常在轮换当值交接的那天，分配前去宿卫东宫，如此则两宫宿卫合为一体，难道不是件好事情？我十分熟悉前代各种制度的得失，你不必请求仍然沿袭传统的作法。”因为高的儿子高表仁娶了太子杨勇的女儿，所以文帝用这些话提醒他。

夫人卒，独孤后言于上曰：“高仆射老矣，而丧夫人，陛下何能不为之娶！”上以后言告。流涕谢曰：“臣今已老，退朝，唯斋居读佛经而已，虽陛下垂哀之深！至于纳室，非臣所愿。”上乃止。既而爱妾生男，上闻之，极喜，后甚不悦。上问其故，后曰：“陛下尚复信高邪？始，陛下欲为娶，心存爱妾，面欺陛下。今其诈已见，安得信之！”上由是疏。

高夫人去世，独孤皇后对隋文帝说：“高仆射已经老了，又丧夫人，陛下怎能不为他再娶一房继室？”文帝把皇后的话转告了高。高凄然泪下，感谢说：“我已经年迈，退朝以后，只是斋居诵读佛经而已，虽然陛下如此深崐深地哀怜我，但是说到再娶，实非我所愿。”于是文帝只好作罢。随后不久高的爱妾生下一个儿子，文帝听说后非常高兴，而皇后却很不愉快。文帝问她其中缘故，皇后说：“陛下还能再相信高吗？开始时，陛下打算为高迎娶继室，而由于心里装着爱妾，于是当面欺哄陛下，说他不愿再娶。如今他的欺诈已经暴露，陛下怎么能再信任他？”文帝因此开始疏远高。

伐辽之役，固谏，不从，及师无功，后言于上曰：“初不欲行，陛 下强遣之，妾固知其无功矣！”又，上以汉王年少，专委军事于，以任寄隆重，每怀至公，无自疑之意，谅所言多不用。谅甚衔之，及还，泣言于后曰：“儿幸免高所杀。”上闻之，弥不平。

隋文帝决定讨伐高丽时，高曾一再进谏，文帝没有听从。及至出师无功，独孤皇后又对文帝说：“高一开始就不愿意出征，陛下强派他前往，我就知道他一定不会成功。”另外，文帝由于元帅汉王杨谅年少，把所有军务都委任高，而高也因为文帝对他寄以厚望，所以常怀有至公守正之心，没有产生过自避嫌疑的念头，对杨谅的话多不听从。于是杨谅十分痛恨高，及至回到长安，痛哭流涕对皇后说：“我幸亏没有被高杀掉。”文帝知道后，心中愈发愤愤不平。

及击突厥，出白道，进图入碛，遣使请兵，近臣缘此言欲反。上未有所答，已破突厥而还。及王世积诛，推核之际，有宫禁中事，云于处得之，上大惊。有司又奏“及左右卫大将军元、元胄，并与世积交通，受其名马之赠。”、胄坐免官。上柱国贺若弼、吴州总管宇文、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等明无罪，上愈怒，皆以属吏，自是朝臣无敢言者。秋，八月，癸卯，坐免上柱国、左仆射，以齐公就第。

及至高领军攻打突厥，大军追击越过了白道，谋划进一步深入大漠之中，于是派人向朝廷请求增兵，隋文帝左右近臣据此说高图谋造反。文帝还没答复，而高已打败突厥而班师还朝。及至前凉州总管王世积被朝廷处死，在审问的时候，有一些宫禁中的事情，王世积说是从高那里得知的，文帝大吃一惊。有关职掌官吏又上奏说：“高和左右卫大将军元、元胄，都与王世积交结往来，并接受了王世积赠送的名马。”于是元、元胄都被朝廷罢免了官职。上柱国贺若弼、吴州总管宇文、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人都上奏申明高无罪，可是文帝更加发怒，下令将他们都交付执法官吏问罪，因此百官群臣没有人再敢为高说情。秋季，八月癸卯（初十），高被罢免上柱国、尚书左仆射官职，以齐公归家闲居。

未几，上幸秦王俊第，召侍宴。欷悲不自胜，独孤后亦对之泣。上谓曰：“朕不负公，公自负也。”因谓侍臣曰：“我于高，胜于儿子，虽或不见，常似目前；自其解落，瞑然忘之，如本无高。人臣不可以身要君，自云第一也。”

不久，隋文帝驾幸秦王杨俊的府第，召高在宴会上作陪。高见到文帝后欷不已，悲不自胜，独孤皇后也当着高的面泫然落泪。文帝对高说：“朕不负你，这是你自作自受。”文帝因此对左右侍臣们说：“我对待高胜过自己的亲生儿子，即使不见他的面，他也好象常在我的眼前。自从他解官离职以后，我就把他完全遗忘了，好像从来也没有过高这个人。所以，做人臣的不能要挟君主，自认为是天下第一。”

顷之，国令上阴事，称其子表仁谓曰：“司马仲达初托疾不朝，遂有天下，公今遇此，焉知非福！”于是上大怒，囚于内史省而鞫之。宪司复奏沙门真觉尝谓云：“明年国有大丧。”尼令晖复云：十七、十八年，皇帝有大厄，十九年不可过。”上闻而益怒，顾谓群臣曰：“帝王岂可力求！孔子以大圣之才，犹不得天下。与子言，自比晋帝，此何心乎！”有司请斩之。上曰：“去年杀虞庆则，今兹斩王世积，如更诛，天下其谓我何！”于是除名为民。

没多久，齐公高的国令上言告发高秘事，称高的儿子高表仁对高说“曹魏时太傅司马仲达起初借口有病不入宫朝见，后来遂夺取了天下。您如今也有此遭遇，又怎知道这不是将来洪福齐天的征兆？”隋文帝异常愤怒，下令把高囚禁在内史省，进行审问。执法部门又上奏说佛门真觉禅师曾经对高说：“明年国家有大丧。”尼姑令晖也对高说：“开皇十七、十八年，皇帝有大难，十九年则过不去。”文帝知道后愈加怒不可遏，对百官群臣说：“崐帝王难道是可力求而得的吗？孔子以大圣之才，还不能得天下。高和他儿子的谈话，自比西晋宣帝司马懿，这是居心何在？”有关职掌官吏请求将高斩首，文帝说：“我去年杀了虞庆则，今年又斩了王世积，如果再诛戮高，天下人会怎么看我呢？”于是下令将高除名为民。

初为仆射，其母戒之曰：“汝富贵已极，但有一斫头耳，尔其慎之！”由是常恐祸变。至是，欢然无恨色。先是国子祭酒元善言于上曰：“杨素粗疏，苏威怯懦，元胄、元正似鸭耳。可以付社稷者，唯独高。”上初然之。及得罪，上深责之，善忧惧而卒。

高刚担任尚书左仆射时，他的母亲告诫他说：“你现在富贵已极，但不要忘了还有掉脑袋的危险，你可要处处小心谨慎！”因此高时常担心发生灾祸。现在得以保全性命，高很高兴而没有怨恨。以前，国子祭酒元善曾对文帝说：“杨素粗疏，苏威懦弱，元胄、元之流就好象鸭子，随波逐流。可以托付国事的只有高一人。”文帝起初也认为他说得很对。及至高获罪，文帝狠狠地责备元善，元善忧惧而死。

[7]九月，以太常卿牛弘为吏部尚书。弘选举先德行而后文才，务在审慎，虽致停缓，其所进用，并多称职。吏部侍郎高孝基鉴赏机晤，清慎绝伦，然爽俊有余，迹似轻薄，时宰多以此疑之；唯弘深识其真，推心任委。隋文选举得人，于斯为最，时论弥服弘识度之远。

[7]九月，隋朝任命太常寺卿牛弘为吏部尚书。牛弘主持选拔官吏时先德行而后文才，十分谨慎，虽然导致对官吏的除授缓慢，但是所进用的官吏大都能称职。吏部侍郎高孝基有鉴赏之才，机敏明察，清廉谨慎无人可比，可惜太过于豪爽俊逸，反使人觉得他有些轻薄不端，当时的大臣多因此对他有些疑虑；唯有牛弘最了解他，对他诚心任用。整个隋朝的选举，此时做得最好，最能获得人才，当时舆论更加佩服牛弘有远见卓识和涵养度量。