作者：霍显
霍家一度位高权重，甚至霍光去世后，宣帝才开始亲自治理朝政
宣帝在民间时就听说并知晓霍氏尊贵强盛日子长久，心中并不认为这是一件好事。霍光去世后，宣帝才开始亲自治理朝政，让御史大夫魏相任给事中。显对霍禹、霍云、霍山等人说：“你们这些人不努力继承大将军的遗业，如今大夫任给事中，一旦有人在中间挑拨，你们还能拯救自己吗？”后来霍、魏两家的奴仆争路，霍氏的奴仆就跑到御史大夫府中，要踢坏他府中的大门，御史为此叩头请罪，他们才离开。有人把这件事告诉了霍家，显等人才开始知道将有忧患。等到魏大夫担任丞相，经常在闲暇时被召见谈论政事。平恩侯和侍中金安上都能直接出入宫禁中。
适时霍山仍旧兼领尚书的事务，但皇上叫官吏百姓可以密封奏章上报，不必通过尚书，群臣百官进见皇上可以独自往来，霍氏对此非常不满。宣帝刚登基时，就册封卑贱而未显达时所娶的许妃为皇后。显很喜爱她的小女儿成君，想使她得到富贵，就暗自派产科医生淳于衍下毒药杀死许后，乘机劝霍光要宣帝娶成君，取代许后成为皇后。这些事《外戒传》中有记载。当时许后突然死亡之时，官吏逮捕了宫中所有医生，并弹劾淳于衍在治病过程中行迹可疑，不合常理，就把她关进了监狱。狱吏对她审问得很急迫，显害怕事情败露，就把实情告诉了霍光。霍光大吃一惊，想亲自去告发这件事又不忍心，正在犹豫。适逢此案的奏章上报，霍光就乘机批复对淳于衍不必再追究。霍光薨后，真相开始慢慢泄露出去。对这件事皇上只是刚听说到但不明虚实，就调动霍光的女婿度辽将军未央宫的卫尉平陵侯范明友任光禄勋，第二个女婿诸吏中郎将羽林监任胜出任安定太守。几个月后，又调出霍光姐姐的女婿给事中光禄大夫张朔任蜀郡太守，孙女婿中郎将王汉为武威太守。过了不久，又调霍光的大女婿长乐宫卫尉邓广漠任少府。再调霍禹任大司马，只戴小帽子，没有印章，撤销了他的右将军及所统辖的驻军官兵，只是让霍禹的官名与霍光一样，都是大司马。又收回范明友度辽将军的官印，只让他任光禄勋。还有霍光的三女婿赵平为散骑骑都尉光禄大夫统领驻军，又把趟平的骑都尉官印收回。所有统领的胡人、越人骑兵、羽林军以及两宫卫队所统领的士兵，都改为由宣帝所亲信的许、史两家子弟代为统领。
霍光去世后，霍显和霍禹、霍山、霍云自相埋怨权势的被剥夺，开始产生不安分的念头
霍禹被任命为大司马后，就称说有病。霍禹原先的长史任宣来探望问候，霍禹说道：“我哪里有什么病？天子不是靠我家将军怎么能到现在的地步，如今将军的坟墓还没有干，他就一律疏远排斥我们家族，反而任用许、史两家的人员，还没收了我的官印，真让人死都弄不明白。”任宣见霍禹怨恨很深，就对他说道：“大将军的时代怎么还能再有！把持国家的权柄，生杀予夺操在手中。廷尉李种、王平、左冯翊贾胜胡以及车丞相的女婿少府徐仁都因冒犯大将军的意旨而被下狱处死。使乐成这样的小户人家子弟因为受到将军宠爱，官至九卿，爵为列侯。百官以下只事奉冯子都、王子方等人，根本不把丞相放在眼里。这是各自有自己的时代，如今许、史两家是天子的骨肉姻亲，得到尊贵正是理所当然。大司马如果因此而心怀怨恨，我认为不应该。”霍禹听后沉默不语。过了几天，霍禹又上朝处理事务。
霍显和霍禹、霍山、霍云眼看着自己的权势一天天被削夺，几次相对流泪啼哭，自相埋怨。霍山说：“现在丞相执政，受到皇帝信赖，全部改变大将军当时制定的法令，将公田授给贫民，以宣扬大将军的过失．又有诸位儒生，大多是穷人子弟，远道而来客居京城，衣食不保，却喜欢口出狂言，不避忌讳，大将军曾对这些人忌恨如仇，如今陛下却喜欢同众儒生交谈，又让他们自行上书答对政事，这些人就尽说我们家的事。曾经有人上书说大将军在时，主弱臣强，揽权独裁，如今他的子孙当权，兄弟们更加骄横恣肆，恐怕将要危及宗庙社稷，灾异怪事频繁出现，都是因为这个缘故。他的话说得极其痛切，我就压下没有把此书上奏。后来上书的人更加狡猾，全都使用密封奏事，皇上就叫中书令出来取走，不通过尚书，皇上越来越不信任我了。”显问道：“丞相屡次说我家的事，难道就没有罪过吗？”霍山答道： “丞相廉洁正直，哪里能有罪？我家的弟兄们和各位女婿大多行为不慎。又听民间盛传说霍家用毒杀死了许皇后，真有此事吗？”显很害怕，就全部将实情告诉了霍山、霍云、霍禹。霍山、霍云、霍禹惊慌地说道：“像这等事情，为什么不早对我们说呢？天子离散斥逐我们家的几个女婿，是因为这个缘故啊。这是一件大事，处罚可不会轻，怎么办？”从此他们就开始有了邪谋。