迎接武成帝。武成帝即位，他升任太傅，兼司徒，常听任他带贴身家丁三人佩刀入仪仗。随武成帝还都后，诸贵戚都争着邀约他，他的住处，也总是高朋满座。高归彦既已位居将相，志意骄傲起来，开伤人，目中无人。人们都议论他威权震主，迟早会成为祸害的。皇上也追索到他过去翻覆动摇的情况，渐渐地也忌恨起他来。高元海、毕义云、高干和等人也都多次揭他的短。一次，皇上到高归彦家中，便召魏收在御前作韶书底稿，准备给归彦加上个右丞相的名义。魏收对高元海说：“皇上就是从右丞相位上登基的，而今因归彦权威太重，才准备外放他，怎么可以再加逭个名号呢？”于是拜归彦为太宰、冀州刺史，就由高干和当场缮写好任命韶书。天亮后，又下令官门守卫不得让归彦自己进宫。那时归彦正在家尽情喝酒，整夜情况毫无所知，到天亮后准备上朝，走到宫门前才知发生了变故，大吃一惊，回到家中。及至上表谢恩，皇帝则下令及早动身赴任，另外赐给他钱帛、鼓吹、医药等，样样齐备。又下令全部武职官员都去青阳宫为他送别。参拜后就退回了，谁也不敢跟他打招呼。他衹是跟趟郡王高叙说了很长时间话，当时没人听到他俩讲了些什么。

到了冀州刺史任上，高归彦心不自安，起了造反叛乱的念头，打算等到受调完毕，皇上为有功将士颁赏时，希望车驾去晋阳，乘虚攻入邺都。逭阴谋被他的郎中令吕思礼所告发，朝廷下韶令平原王段韶去剿袭他。高归彦早先在州境南部安排了为私人传递信息的驿站，听到朝廷大军将逼近冀州，向他报告了，他便发兵闭城固守，抵御朝廷大军。遣以前，冀州长史宇文仲鸾、司马李祖挹、别驾陈季璩、中从事房子弼、长乐郡守尉普兴等怀疑归彦怀二心有异谋，曾联名派人向朝廷密报，被归彦追获了，便搜捕囚禁仲鸾等五人，五人都不屈服，全被杀害了。大军已到城下，归彦登城大叫说：“孝昭皇帝驾崩之初，全国六军百万之众都在我的手上，我自己到邺城专程迎接陛下，当时不反，今Et怎么倒有异心呢!我就是恨高元海、毕义云、高干和诳骗皇上，嫉妒忠良。衹要杀了这三个人，我就自杀在遣个城头上!”其后城被攻破，他一人单骑向北方逃跑，逃到交津被迫获，锁送京师。皇上派赵郡王高数以私人名义去问他造反的缘故。归彦说：“竟让一帮黄毛小子来挟制我，我怎么能不反!”问：“谁？”归彦说：“高元海、高干和能算朝廷长者么？如果是您赵家老公时，我又怎么会内心不平呢!”于是皇帝又派人去谴责他。他说：“高元海收受了毕义云的宅子，就用他为本州刺史，还给后部鼓吹。我是藩王、太宰，却并没有给鼓吹。就该杀了元海、义云!”皇上便令都督刘桃枝将其牵入宫来，归彦这时还说那些话希圆活命。皇帝命群臣公议他的罪过，都说罪不容赦。便用囚车装上他，嘴中衔枚噤声，双臂反缚于后，刘桃枝把刀搁在他脖子上，敲着鼓随于其后，连子孙十五人都杀死在刑场上。赠给他仁州刺史的名分下葬。

早在束魏时发生了山崩，得到两片石角，藏在武库裹。文宣帝入库，赐从臣兵器，特地把这两片石角给了归彦，对他说：“你以后事奉常山王不得谋反，事奉长广王要谋反。谋反时，就用遣两片石角去吓唬人。”高归彦有三道额骨，戴头冠也戴不稳，文宣帝曾见到过，生了气，让人用马鞭抽打他的额头，血流满脸，说：“你造反时就用这片骨头去吓人吧!”这些说他反叛之言竟然应验了。

武兴王高普，字德广，是归彦之兄归义的儿子。为人宽和有度量。九岁时，归彦从河州跟他一起到了洛阳，高祖使其与诸子一同游玩相处。天保初年，封为武兴郡王。武平二年，升迁到司空。六年，拜任豫州道行台、尚书令。后主奔入邺城，就在那儿给他加任太宰。北周大军逼近，他便投降了。死在长安。赠给他上开府、豫州刺史。

垦銮太守茵驰，字星崖，是直担族弟。跟随产担起兵于值都，死于昼乐太守任上。赠给他大将军、司空，又谧为塞宣。其子直懿，死于武垩镇将任上，无后，文宣帝便以灵山的堂兄壹丛刺史产建国的儿子伏护为灵山后嗣。