魏相成为丞相后，看清局势的人都纷纷给自己重新定了位，有的人保持了沉默，比如杜延年，似他这样聪明的人早已看到事情的结果，然而念着大将军霍光的知遇之恩，他无法做到落井下石。
有的人则选择了背叛，比如赵广汉。
赵广汉，是能吏，然不管再能，都得有靠山，有了靠山才能放心大胆的做事，他很幸运，大将军霍光看中了他。昭帝去世的那一年，他因治理政务出众被大将军霍光提为代理京兆尹，并且依附了大将军霍光废刘贺，拥立宣帝，被赐为关内侯。
京兆尹这人官并不是一般人能做得了的，特别是豪强遍地，宗族世家盘根错节的时代，不巧赵广汉遇到的便是，然赵广汉并不是一般人，他不仅能力出众，而且手段强硬，再者有了大将军霍光这个靠山，他便更加没有顾忌。
当时游侠颇多，说来是游侠其实是强盗。而当地的豪强世家都喜欢招揽这些游侠为已用，若是说哪里强盗四起，那一定是豪强世家做得恶，偏偏这些豪强世家非富即贵，还真不敢惹，不好惹。
当时负责修平陵的京兆掾杜建也是这样一个狠角色，招揽了许多游侠当宾客，这些宾客便利用杜建负责修平陵的便利从中非法谋利，当然说得好听点是宾客，说得实在点便是杜建自己。
作为自己的下属，赵广汉刚开始是委婉规劝。然杜建这个地头蛇哪把赵广汉这个从小吏一步一步升上来的上司放在眼里，该干什么就干什么。
赵广汉也明白自己初来乍到，没有威信，是治理不好长安的，现在杜建跳出来，好吧，就拿他来立威。
很快，杜建就被抓了起来，紧接着便是络绎不绝的登门来为杜建说情的人，有官、有名门、有豪强。赵广汉本就是拿杜建来立威的，自然不肯定听。
杜家的家人和门客便恼羞成怒，打算劫狱，却不知他们的这些动态都在赵广汉的掌握之中，直接派人去杜家告诉他们，再不老实就灭你全家！
随即便在闹市中将杜建处斩，出了个为民除害的京兆尹，京城的百姓赞不绝口。
赵广汉有手段，有能力，还有大将军霍光撑腰，京中的豪强只好认栽，一下子就老实了。
赵广汉这种官员很受大将军霍光器重，于是便又交给了他一个艰巨的任务，调赵广汉为颍川太守。颍川郡内盗贼猖狂，前几任都制不了，然这难不了赵广汉。
赵广汉到了颍川，调查不久便发现哪里是什么强盗，不过是当里的豪族养得门客，横行乡里，胡作非为。前几任也不是治不了，而是不敢治。
赵广汉经过几个月的明察暗访，将颍川的豪门旺族摸清，但将领头的原氏、褚氏两大家族中作恶的头领抓了起来，公布了他们的罪行，便立即斩首。
赵广汉雷厉风行的手段让颍川的豪族震惊，然而这对赵广汉来说只是刚刚开始。
赵广汉不仅手段狠，而且手段多，他发明了检举筒这个东西。也就是设置竹筒，接收告发信，一经核实便立即治罪。同时故意隐去检举人的姓名，说是某某豪门的子弟告发，从而引发了豪门间的内讧，让他们不再沉瀣一气。
自此颍川的豪门旺族内部便出现了分裂，并相互攻击，于是颍川的盗贼再也不敢轻易出手，社会风气大为好转。
赵广汉手段虽是狠了点，但效果也很显著，再加上有大将军霍光罩着，自然没人敢对他的做法有非议。
其后赵广汉又被再次调回长安任京兆尹，经过颖川的这段锻炼，他办案更加老辣和强硬。但是赵广汉对下属却是极好，和颜悦色，有功都推到下属的身上，并且努力为下属争取利益，提高下属的待遇，由此跟着他的下属皆对他忠心耿耿。
在京城内建立了一张忠于自己的情报网络，再加上赵广汉善于推理，京城中的大事小事都跑不过赵广汉的耳目，长安城中的盗贼、游侠的住所，以及属吏枉法收取财物，赵广汉都一一掌握。
比如说长安城的几个少年正在一所破庙里谋划抢劫，还没商量出一个结果，就被赵广汉派人抓获了。再比如
再比如说赵广汉曾经发文召见湖县的都亭长，都亭长西行到了界上，界上亭长开玩笑说：“到了郡府，替我多多拜问赵君。”
亭长到了郡府，广汉与他谈话，问完了公事，对他说：“界上亭长传话给我，你为什么不转达他的问候呢？”
亭长叩头信服说确实有这件事。广汉于是说： “回去替我拜问界上亭长，让他努力做好本职之事，尽心尽力，京兆不会忘记他的忠厚之心。”
如此强大的情报机构，想起来真是令人害怕，特别是那些盗贼，长安由是大治，长安百姓对赵广汉这种为民请命的官员有着天然的好感，对他也是交口称赞。
然长安百姓有多爱赵广汉，长安城的豪强们就有多恨赵广汉。
赵广汉是聪明人，他知道他致所以不将京城的那些豪强们放在眼里，在长安城呼风唤雨，那是因为有大将军霍光在背后给他撑腰。
如今大将军霍光已死，而霍家眼看就要灭亡，他得赶紧再找一个靠山，要不然不说受霍氏牵连，就是霍家倒台后，那些豪族的报复，都有得他受的了。
还不说他这狠厉的性格，平常也没少得罪同僚。
当时左冯翊、右扶风的官署都设在长安，犯法者经常流窜到京兆的地界作案。赵广汉正是意气风发，说话也没了顾忌，他感叹到：“扰乱我的管理的，往往是左冯翊、右扶风啊，如果能让我兼治二辅，治理长安就容易了。”这话当时他说得时候颇为得意，现在没了靠山，想起当初的话，也后怕了起来。
一旦他没了靠山，不管他再能，以他以前的所作所为，恐怕连命都保不住的了。
而最大的靠山，当然便是宣帝。赵广汉是一个狠人，他表明心迹的方法当然也够狠够绝够大胆，很快，赵广汉便做了一件事，让他彻底的与霍家割裂开来，并成功的引起了宣帝的关注。