却说许后死得不明不白，外间已经有人议论，又见淳于衍得释出狱，忽然发了一笔大财，大众早猜到其中必有原因。
及霍氏得立为后，众人恍然大悟，但碍着霍光尚在不敢多言。如今霍光已死，便有人将此语到处传播，宣帝听说后也觉可疑，暗想此言如果属实，必须严行究办，为许后报复冤仇。只是众口喧传未得实据，且霍氏子弟布满朝廷，手握兵权势力甚大，要想惩治也难下手。如今既有此等风闻，霍氏万难亲信，须趁此时削其权力免贻后患，于是召魏相等密议处置之法。
当时度辽将军范明友为未央卫尉，中郎将任胜为羽林监，还有长乐卫尉邓广汉，光禄大夫散骑都尉赵平，统是霍光女婿。光禄大夫给事中张朔系霍光姊夫，中郎将王汉系霍光孙婿，宣帝先徙范明友为光禄勋，任胜为安定太守，张朔为蜀郡太守，王汉为武威太守；复调邓广汉为少府，收还霍禹右将军印，阳尊为大司马；特命张安世为卫将军，所有两宫卫尉，城门屯兵，北军八校尉尽受张安世节制。又将赵平的骑都尉印绶也一并撤回，但使为光禄大夫。另使许、史两家子弟代为军将。
霍禹见宣帝夺其兵权心中愤郁，于是称病不肯入朝。一日大中大夫任宣前来拜访。霍禹便命请入。任宣曾为霍氏长史，听说霍禹有病故来看视。任宣见霍禹并无病容，便故意用言挑道：“未知君候身患何病？”霍禹听了长叹道：“我有甚么病症？只是心下不甘。”霍禹呼宣帝为县官，又信口讥评道：“县官非我家将军怎得到此？今将军坟土未干就将我家疏斥，反任许史子弟夺我印绶，究竟我家有甚么大过呢？”任宣闻言劝解道：“大将军在日亲揽国权，生杀予夺操诸掌握，就是家奴冯子都王子方等也受百官敬重，比丞相还要威严。大凡盛衰各有其时，今许、史乃天子骨肉自然当贵。大司马因此怨恨，愚意以为不可。”霍禹被任宣说了一通默然无语。过了数日病假已满，霍禹只得照旧入朝。
却说霍山、霍云等见势力日孤，便常与霍显、霍禹商议，往往相对啼泣自相埋怨。霍山说道：“今丞相用事县官信之，竟将大将军所定法令尽行变易，一班儒生多系贫人客居长安，饥寒交迫喜为妄言，素为大将军所恶。今儒生人人都能上书请见，而且多言大将军过失。主上肯定不信任我辈了。”霍显勃然道：“这是魏丞相唆使要灭我家，难道他果无罪过么？”霍山说道：“丞相生平廉正却是无罪，我家行为不谨容易受谤，最可怪的是都中争言我家毒死许皇后，究竟此说从何而来？”霍显便把他们引至内室，具述淳于