霍氏被诛尽，朝中便迅速的涌出了一批新贵，比如许家、史家、王家，比如丞相魏相，自然也有失意之人，比如太仆杜延年和由车骑将军变成卫将军的张安世。
太仆杜延年作为大将军霍光的旧人，但因性格安和，自大将军逝世后便远离了霍家，洁身自好，霍氏灭族时，他并未有什么违法的行为，宣帝对杜延年当初支持丙吉立他为帝，很是感激，因此也没打算找杜延年的麻烦。
至于卫将军张安世，宣帝对他的感情则是复杂的多。宣帝自幼便受到张安世的哥哥张贺的照顾，张贺对他有养育之恩，而且张安世的儿子张彭祖是他的发小，这次灭霍的行动中，张安世虽然行动不是很积极，但是也出力不少。但是，张安世曾是大将军霍光最得力的助手，这一点让宣帝很是不放心。
然而魏相想找他的麻烦，做为灭霍的第一功臣，他现在是无比的风光，杜延年是霍光的旧人，在他眼中就是沙子。
“太仆杜延年以前依附大将军霍光时，向来尊贵无比，很受大将军霍光的信任，所任的官吏也多有不法，请皇上严查。”
宣室殿中丞相魏相在奏言到，这已是丞相魏相第三次说起这件事了。宣帝一直不可置否，一是因为他和杜延年的儿子杜佗有几份交情，更是因为有一个人曾经暗地里替杜延年作保，对于这个人，宣帝是非常信任的，比魏相还要信任。
“那丞相就安排廷尉去调查吧。”宣帝最终让步了，他和魏相的君臣关系正处在“蜜月”区，而且虽然霍氏虽然被灭，只因宣帝的行动很是迅速，各方人员还没有反应过来，潜在的风险还是很多，他依仗魏相的地方还有太多。
“谢皇上。”丞相魏相口中说得，眼睛却看着宣帝，很是迟疑，像是言语未尽。
“还有什么事？”宣帝问道。
“还有卫将军张安世，最近表现很是异常。如今霍氏谋逆被告发，朝中大臣无不庆幸，惟有他却如同如丧考妣，臣怕他有异动。”丞相魏说到。
丞相魏相攻击太仆杜延年和卫将军张安世，除了公心之外，自然也有自己的私心的，那便是他要做朝中第一大臣，太仆杜延年和卫将军张安世性格都很是安和谨慎，在朝中经营甚有人缘，他若想得势，那么必需搬开挡在他面前的所有的人，太仆杜延年和卫将军张安世显然这最有这个可能。
可是由于卫将军张安世的特殊身份，魏相当然是不敢贸然开口，搞不好便要踢到铁板上去了。
“此事朕知道了。”
宣帝说到，张安世比不得别人，霍氏刚灭，已是风声鹤唳，若再动张安世，说不定会惹出什么乱子来；二个就是杀张安世他确实是没有什么理由；三个便是张安世的身份，张贺的养育之恩他不能忘，与张彭祖的同席之情也不能舍。
可是张安世最近的表现确实是有些过了，自从霍氏被灭后，他便表现的战战兢兢，像是宣帝要杀他似的。
宣帝当初对付霍氏便是先是让他们感到恐惧，然后逼他们动手。没想到霍氏被灭，张安世也被吓破了胆，他如今的表现到也真像一个定时炸弹，说不定哪天经不住压力，便爆炸了，宣帝也不能不防。
所以，对于张安世如何处理，宣帝一直是比较犹豫，因此当魏相提起卫将军张安世时，宣帝便不可置否的答了句，魏相见宣帝如此，也不敢再多说什么便退了下去。
丞相魏相得了宣帝的准许，便开始对太仆杜延年大查特查，他以为杜延年为官这么多年，手自然是干净不了多少的。然而丞相魏相却是想错了，许是杜延年人缘很好，而且为官确实比较自律，魏相硬是没有查出杜延年的什么非法罪行，这可真叫魏相失望的。
若是丞相魏相就此放弃，那魏相便是对不住他多年的当官的经历，所快魏相弹劾太仆杜延年两条罪状：“一是属太仆杜延年边郡三十六苑的马死得太多了，二是虐待官奴，让他们缺衣少食。”
这两条罪行，一看便知是丞相魏相没事找事，但是宣帝考虑到魏相的情绪，还是将杜延年免官。不过几个月后又起用杜延年，任命他为北地太守，只要不在长安城中，在朝堂上与丞相争锋，魏相自然没有意见，如即安抚了丞相魏相，又安抚了为杜延年作保的那人。
“赵将军，卫将军有什么异动。”
宣帝对卫将军张安世到底不放心，然而动张安世，必须要考虑那些老臣子的想法，于是宣帝便将那些在倒霍行动中支持他的老臣子一个一个喊来问话，此时他问话的对象便是后将军赵充国。
“臣以为卫将军对皇上忠心耿耿，没有什么异动啊。”后将军赵充国一听宣帝这语气，但知道宣帝对张安世动了心思，然他是一个耿直之人，再加上他与张安世同为老臣，总有几分兔死狐悲之情，所的没有顺着宣帝的话来讲。
“那他近日为何形消骨立，一副惶恐不安的样子，像是朕要吃了他一样。”宣帝说道。
“臣听说是因为卫将军的孙女张敬嫁给了霍氏子弟，恐连坐，才惊吓如此。卫将军对皇上对社稷有功，皇上何不赦免了张敬以安抚卫将军。”后将军赵充国说到。
“原来如此。”宣帝恍然大悟道。
由于赵充国的劝说，张安世的终于逃过了被诛杀的命运。事后赵充国也颇觉得欣慰，将此事告诉了他的儿子赵卯，却没有想到为赵卯埋下了一个祸根。
“掖庭令平生称赞我，将军阻止，做得对，不必挂怀。”宣帝笑着对张安世说到，其实说这句话时他心中是很不舒服的，没有人能忘记当初自己被轻视的事，更何况宣帝这个生下来几个月便成为孤儿的人。
张安世一听宣帝提及此事，不知如何接口，但低头一言不发，他事事谨慎，当初昭帝在时，掖庭令张贺称赞当时的刘病已，他当初要制止，他哪里想到刘病已会当上皇帝。
更没有想到当初那个逢人便笑的温和的小子，在二十五岁的年纪便将霍家连根拔起，这如何不让他恐惧。特别是宣帝当时在削霍家军权的时候，顺道也将他的军权给削了。
昨日他的小儿子张彭祖将宣帝的意思带给了他，并好生将他安抚了一翻，他的恐惧才稍减。
“不过掖庭令对朕的恩情，朕永生不忘。听说将军最近为孙女张敬而寝室难安，朕今日便下召赦免了她，将军也不必惊恐过度，好叫朝中的大臣误会。”说到。
“谢皇上！”张安世立即起身跪在上谢恩，听到宣帝这句话，他才稍稍放下心来，随后又惊起一身冷汗。想起前几日自己惊恐形于色的表现，也确实容易叫人误会，让人不安，一向谨慎的他可真是犯下了一个大错。
自从张安世处世更加谨慎，每每定大策，一经决定，便称病不上朝，听到诏令，便假装吃惊，派人到丞相府询问。朝廷大臣不知他参与预谋。
张安世的这种行为一是让宣帝放心，二是也让正在得势的大臣如丞相魏相等人放心，不再将他识为威胁，最终得到了善终。