，遣使入朝请求援兵，近臣说高颎要造反，文帝没有同意增援，高颎也同样大破贼兵，得胜还朝。

这时，太子杨勇失宠，文帝有废立太子的意思，对高颎说：“有神告知晋王妃，说晋王必定享有天下。”高颎跪着说“：长幼有序，太子不可废。”文帝于是就作罢了。独孤皇后知道高颎志不可夺，阴谋除掉高颎。当初，高颎夫人死的时候，皇后对文帝说“：高仆射老了，死了夫人，陛下为何不替他再娶一个呢？”文帝把皇后的话告诉高颎，高颎流泪辞谢道：“臣如今已经老了，退朝后只是斋居读佛经而已。虽然陛下十分哀怜老臣，但若说到另娶妻室，不是老臣的愿望。”文帝于是作罢。到了现在，高颎的爱妾生下一个男孩，文帝听到后很高兴，皇后非常不高兴，说：“陛下还相信高颎吗？当初陛下想给高。。娶妻室，高颎心里想着爱妾，当面欺骗陛下，如今他的诡诈已经露出来了。”文帝因此疏远了高颎。

适逢商议讨伐辽东，高颎坚决劝阻。文帝不听，任命高颎为元帅长史，跟从汉王杨谅征讨辽东，遇到阴雨疾役，大军不利而还。皇后对文帝说“：高颎当初就不想去，陛下勉强他去，妾本来就知道不会有什么结果。”文帝因汉王年少，把军队都托付给高颎。高颎认为深得信任，心怀公正，从来没有疑虑。杨谅的话多不被采用，非常忌恨高颎。回朝后，杨谅哭着向皇后说：“没有被高颎杀掉，就算是幸运了！”文帝听到后，更加愤愤不平。不久，上柱国王积因罪被杀，审讯的时候，有宫禁之事，说是在高颎那里得知的。文帝想定高颎的罪，听到这些十分震惊。这时，上柱国贺若弼、吴州总管宇文瞖、刑部尚书薛胄、户部尚书斛律孝卿、兵部尚书柳述等人，申明高颎无罪，文帝更加恼怒，把他们都交给有司处置。从此，朝中大臣再没有人敢说话。高颎终于连坐免官，保留爵号。

过了不久，文帝到秦王杨俊的宅第，召高颎来陪宴。高颎痛哭流涕，悲不自胜，独孤皇后亦相对哭泣，手下的人亦皆痛哭。文帝对高颎说：“朕不辜负公，公自辜负朕。”于是对侍臣说“：我对高颎胜似儿子，虽然有时不见，但常常像在眼前。自从他被解职，转眼就忘了，好像本来就没有高颎这个人一样。不可用自己要挟国君，自称天下第一。”此事刚过不久，高颎的属下上告高颎的阴谋之事，称“：其子表仁对高颎说‘：昔日司马仲达开始假装有病，不朝见天子，终于得了天下。公今遇此事，怎么知道不是福气呢？’”于是文帝大怒，把高颎囚禁在内史省审讯。宪司又奏高颎别的事情，说：“僧徒真觉曾经对高颎说：‘明年国家有大丧。’尼令晖又说‘：十七、八年，皇帝有大难。十九年就过不去。’”文帝听后更加恼怒，对群臣说：“帝王岂能凭强力而求。孔子有大圣之才，制定法律流传后代，难道不想为天子？天命不允许。高颎和他儿子说的那些话，自比为晋帝，是何种居心！”有司请斩高颎，文帝说：“去年杀了虞庆则，如今刚杀了王积，若再杀高颎，天下人会怎么说我！”于是就将高颎除名。

当初，高颎任仆射，其母告诫他说：“你的富贵已达到顶点，只是还有杀头的事，你要谨慎啊！”高颎因此常恐发生祸变。等到被除名，高颎面有欢欣，脸无恨色，以为灾祸已经免除。

炀帝即位，任高颎为太常卿。当时有诏令收周、齐原有的乐人和天下散乐。高颎奏道“：这种音乐早就废除了。今天征集，恐怕无识之徒弃本逐末，互相传授。”炀帝不高兴了。炀帝这时奢侈淫靡，沉湎声色，又开始修筑长城。高颎非常不满，对太常丞李懿说：“周天元因喜好音乐而灭亡，殷鉴不远，怎么能够再这样呢！”当时，炀帝对启人可汁恩礼过于优厚，高颎对太府卿何稠说：“这个外族人对中国虚实、山川险易所知甚多，恐怕成为后患。”又对观王杨雄说“：近来朝廷特别没有纲常法纪。”有人把这些话奏知炀帝，炀帝认为这是诽谤朝政，杀了高颎，并把他的几个儿子发配到边疆。

高颎有文韬武略，精通政务，承蒙文帝信任，竭尽忠诚，举荐贤良，以天下为己任。苏威、杨素、贺若弼、韩禽等人，皆是高颎举荐的，各尽其用，成为一代名臣。其余立功立事，亦是不可胜数。当朝执政近二十年，朝野人士无不赞服，没人议论是非，当时社会升平，靠的是高颎的力量。论者认为高颎是名符其实的宰相。高颎被杀，天下之人无不伤悼，至今仍为高颎鸣冤不止。所有的奇策良谋和时政方略，都是出自高颎之手，当时没有人知道这种情况。

高颎子盛道，官至莒州刺史，发配到柳城，死在那里；盛道弟弘德，封应国公，任晋王记室；次弟表仁，封渤海郡公，并徙于蜀郡。

牛弘字里仁，安定鹑觚人。其先人为了避难，改姓辽氏。祖父炽，本郡中正。父元，任魏侍中、工部尚书，爵临泾公，复本姓牛氏。