韦贤的让位，赵广汉的砍门，萧望之领着儒生们对霍氏的言语上的攻击，再笨的人都知道霍氏恐怕要倒霉了。越来越多的人开始与霍氏划清关系，甚至往霍氏身上泼脏水，霍氏势力日孤。
当年淳于衍因霍夫指使毒害了许后，过了很久，霍夫人给了她一笔财物，并没有让给他的夫君所求的职位，并且不让她再去霍府。
后来，她的夫君后来得知此事，便对此有所有些抱怨，慢慢的便被外人所知。大将军在时，众人不敢言语，如今宣帝许百姓奏密事，眼见霍氏孤立，便有人密奏淳于衍受霍夫人指使毒死许后。
宣帝本就对许后之死有怀疑，如今见了密奏，心中便确定许后之死与霍夫人脱不了干系。当初宣帝事事依着霍光，唯独在这件事上他坚持已见，却不想付出的代价便是许后的命。
如今确切得知许后是被霍夫人害死的，恨不得立时将霍夫人抓起来，为许后报仇，所以他迅速将丞相魏相招进了宫中商议。
“虽有密奏，但并无证据。现在霍氏手握兵权，宫中紧要关口皆霍氏子弟，要查此事，必然惊动他们，皇上此事还得从长计议啊。”
魏相见宣帝一脸怒气，生怕宣帝意气用事。
“以丞相之见，该当如何？”二十四岁的宣帝深呼一口气说到，虽然只有二十四岁，但是经过几年的磨砺，他办事向来稳重老成，唯有在这一件事上，他不能控制自己的情绪。
“这霍氏如今把持朝政，不如先用轮岗的办法，将他们调出关键位置，然后再徐徐图之。”魏相说到。
魏相不是一个大方的人，当日霍家家仆逼得他府中的侍御史下跪道歉，他当时虽然保持了沉默，可此事一直在他心中记着，早就想对付霍家了，然之前削霍家兵权的奏书并没有得到宣帝的回应，如今见机会来了，便又提了起来。
很快，霍氏最得力的三女婿度辽将军、未央卫尉范明友被调任光禄勋，将霍光的二女婿诸吏、中郎将、羽林监任胜调出京师，任安定太守。
当初大将军霍光嘱咐他们不要放弃军权，他的三女婿范明友便问道若是皇上有令该怎么办，而大将军霍光的答复却是沉默，当初他们理解的便是认了。
再加之现在形势对霍氏非常不利，民间、儒生都在言语上攻击霍氏，断然是不敢违令不遵，所以范明友和任胜都很老实的接受了。
过了段时间，宣帝见霍氏两个女婿的轮岗没有特别大的反应，便又将霍光的姐夫给事中、光禄大夫张塑高出长安城，任蜀郡太守，将霍光的孙女婿、中郎将王汉调任武威太守。
有了范明友和任胜前面的“榜样”，张塑、王汉自然也不敢违令，出了长安城。紧接着，又将霍光的二女婿长乐尉邓广汉调任少府。
八月十四，任张安世为卫将军，未央、长乐两宫卫尉，长安十二门的警卫部队和北军都由张安世统令。同时任命霍禹为大司马，却不让他却不让他戴照例应戴的大官帽，而戴小官帽，且不颁给印信、绶带，也就是说给了名，却不给实权。
如此的一翻轮岗，霍氏的兵权都被削得差不多了，然这还不够。
九月十九，地震。
冬十月，宣帝便下诏说：“前者九月十九地震，朕深感惶恐，希望群臣能陈述朕的过失，并举荐贤良方正直言极谏的人以匡正朕的不足，要无所讳忌，不避权贵。由于朕德行不足，不能使边远地区归附，以致边境屯戍不息。接着又命令重兵屯守，增加百姓的负担与将士的劳苦，这不是一种安靖天下的长策。现决定撤除车骑将军张安世、右将军霍禹屯兵
就这样霍禹虽然得到了大司马的名，兵权却被罢了，为了避免霍氏反应过大，所以同时罢了张安世的屯兵。
而范明友的度辽将军的印信和绶带收回也被宣帝收了回去，仅担任光禄勋一职；霍光的四女婿赵平骑都尉、光禄大夫，统领屯戍部队，也被收回了骑都尉的印信和缓带。
所有统领胡人和越人骑兵、羽林军以及未央、长乐两宫卫所属警卫部队的将领，都改由汉宣帝所亲信的许、史两家子弟担任。
宣帝削霍家兵权的同时也没忘记政务，同时下诏：“池陂禁苑皇家未曾使用的，皆借给贫民使用。郡的楼台馆舍，不再修建。外流人员返回的，借以公田，贷给种子口粮，免其税赋及给徭役。”
不停的将公田和皇家池园借给农民使用，宣帝是第一人。像这种借种子，免税赋等惠农的政策，自宣帝继位之后便一直持续。
宣帝一系列的动作，终于让霍夫人变得惊恐万分，却根本拿不出相应的对策来，于是便破罐子破摔。
什么事也不管了，在府中穷尽其乐。制造同御用规格相同的人拉辇车，绘以精美的图画，车上的褥垫用锦绣制成，车身涂以黄金，车轮外裹上熟皮和绵絮，以减轻车身的颠簸，由侍女用五彩丝绸拉着霍显在府中游玩娱乐。
她的这种行为自然也被人密奏到宣帝之外。
而霍禹还没认识到事情的严重性，被削了军权后竟和宣帝耍起脾气，称病不上朝，他的这种行为真是让依附与霍家的人着急。
“大司马怎么突然就病了呢？”霍禹原来的长史，现任太中太夫任宣许久没见着霍禹便寻上门来了。
“我哪里有什么病？皇上若不是靠我家将军怎么能当上皇上，如今将军的尸骨未寒，他就开始排斥咱们霍家，反而任用许、史两家的人员，还没收了我的官印，如今连那京兆尹都欺负到我的头上来了，真是叫人气愤！”霍禹愤愤的说道！
“大司马怎么可能跟大将军时代比！当初大将军把持国家权柄，生杀予夺操在手中，何人敢说半个不字。廷尉李仲、王平、左冯翊贾胜胡、田千秋丞相女婿少府徐仁都是忤逆大将军的旨意而被下狱处死。史乐成这样的小户人家的子弟因大将军的宠爱了官至九卿，爵为列侯。百官以下眼里只有大将军的家奴冯子都、王子方，而没有丞相。而如今许、史两家是天子的骨肉姻亲，得到尊贵是理所当然的。大司马若因此怀恨在心，实不应该啊！”任宣先是回忆了当初大将军霍光的风云岁月，然后又委婉的劝告霍禹大将军的时代已经一去不复返了，要接受现实，这脾气是闹不得的。
霍禹听了后默然不语，过了几天，便又乖乖的去上朝了。