到御史大夫府中，要踢坏他府中的大门，御史为此叩头请罪，他们才离开。有人把这件事告诉了霍家，显等人才开始知道将有忧患。等到魏大夫担任丞相，经常在闲暇时被召见谈论政事。平恩侯和侍中金安上都能直接出入宫禁中。适时霍山仍旧兼领尚书的事务，但皇上叫官吏百姓可以密封奏章上报，不必通过尚书，群臣百官进见皇上可以独自往来，霍氏对此非常不满。

宣帝刚登基时，就册封卑贱而未显达时所娶的许妃为皇后。显很喜爱她的小女儿成君，想使她得到富贵，就暗自派产科医生淳于衍下毒药杀死许后，乘机劝霍光要宣帝娶成君，取代许后成为皇后。这些事《外戒传》中有记载。当时许后突然死亡之时，官吏逮捕了宫中所有医生，并弹劾淳于衍在治病过程中行迹可疑，不合常理，就把他关进了监狱。狱吏对他审问得很急迫，显害怕事情败露，就把实情告诉了霍光。霍光大吃一惊，想亲自去告发这件事又不忍心，正在犹豫。适逢此案的奏章上报，霍光就乘机批覆对淳于衍不必再追究。霍光薨后，真相开始慢慢泄露出去。对这件事皇上衹是刚听说到但不明虚实，就调动霍光的女婿度辽将军未央宫的卫尉平陵侯范明友任光禄勋，第二个女婿诸吏中郎将羽林监任胜出任安定太守。几个月后，又调出霍光姐姐的女婿给事中光禄大夫张朔任蜀郡太守，孙女婿中郎将王汉为武威太守。遇了不久，又调霍光的大女婿长乐宫卫尉邓广漠任少府。再调霍禹任大司马，衹戴小帽子，没有印章，撤销了他的右将军及所统辖的驻军官兵，衹是让霍禹的官名与霍光一样，都是大司马。又收回范明友度辽将军的官印，衹让他任光禄勋。还有霍光的三女婿赵平为散骑骑都尉光禄大夫统领驻军，又把趟平的骑都尉官印收回。所有统领的胡人、越人骑兵、羽林军以及两宫卫队所统领的士兵，都改为由宣帝所亲信的许、史两家子弟代为统领。

霍禹被任命为大司马后，就称说有病。霍禹原先的长史任宣来探望问候，霍禹说道：“我哪裹有什么病？天子不是靠我家将军怎么能到现在的地步，如今将军的坟墓还没有干，他就一律疏远排斥我们家族，反而任用许、史两家的人员，还没收了我的官印，真让人死都弄不明白。”任宣见霍禹怨恨很深，就对他说道：“大将军的时代怎么还能再有！把持国家的权柄，生杀予夺操在手中。廷尉李种、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁都因冒犯大将军的意旨而被下狱处死。使乐成这样的小户人家子弟因为受到将军宠爱，官至九卿，爵为列侯。百官以下衹事奉冯子都、王子方等人，根本不把丞相放在眼里。这是各自有自己的时代，如今许、史两家是天子的骨肉姻亲，得到尊贵正是理所当然。大司马如果因此而心怀怨恨，我认为不应该。”霍禹听后沉默不语。过了几天，霍禹又上朝处理事务。

显和霍禹、霍山、霍云眼看着自己的权势一天天被削夺，几次相对流泪啼哭，自相埋怨。霍山说：“现在丞相执政，受到皇帝信赖，全部改变大将军当时制定的法令，将公田授给贫民，以宣扬大将军的过失。又有诸位儒生，大多是穷人子弟，远道而来客居京城，衣食不保，却喜欢口出狂言，不避忌讳，大将军曾对这些人忌恨如仇，如今陛下却喜欢同众儒生交谈，又让他们自行上书答对政事，这些人就尽说我们家的事。曾经有人上书说大将军在时，主弱臣强，揽权独裁，如今他的子孙当权，兄弟们更加骄横恣肆，恐怕将要危及宗庙社稷，灾异怪事频繁出现，都是因为这个缘故。他的话说得极其痛切，我就压下没有把此书上奏。后来上书的人更加狡猾，全都使用密封奏事，皇上就叫中书令出来取走，不通过尚书，皇上越来越不信任我了。”显问道：“丞相屡次说我家的事，难道就没有罪过吗？”霍山答道：　“丞相廉洁正直，哪裹能有罪？我家的弟兄们和各位女婿大多行为不慎。又听民间盛传说霍家用毒杀死了许皇后，真有此事吗？”显很害怕，就全部将实情告诉了霍山、霍云、霍禹。霍山、霍云、霍禹惊慌地说道：“像这等事情，为什么不早对我们说呢？天子离散斥逐我们家的几个女婿，是因为这个缘故啊。这是一件大事，处罚可不会轻，怎么办？”从此他们就开始有了邪谋。

当初，赵平的门客石夏知晓天文，他对赵平说：“荧惑守着御星，御星是太仆奉车都尉的星宿，他们不是被贬官就是被杀死。”趟平内心替霍山等人担忧。霍云的舅舅李竟的好友张赦见霍云家族岌岌可危，就对李竟说：“如今丞相与平恩侯当权，可以叫太夫人告诉太后，先把这两个人杀了。罢黜陛下，就在于皇太后。”长安男子张章告发了这件事，宣帝就把此事交给廷尉处理。执金吾拘捕了张赦、石夏等人，后来又有韶令制止，不准拘捕。霍山等人更加恐慌，相对说道：“这是天子看重太后的面子，所以没有深究。但是凶兆已显现，又有毒杀许后的事，陛下即使宽大仁厚，就怕他左右的人不听，时间久了仍然会追查，一旦查清就要被灭族，我们不如先动手。”于是就叫几个女儿各自回去告诉自己的丈夫，都说：“哪裹还有地方避难呢？”