他先解除了霍光两女婿东宫(长乐宫)、西宫(未央宫)卫尉的职务,剥夺了他们掌管的禁卫军兵权。又把霍光的外甥女婿和孙女婿调离中郎将和骑都尉的位置并收回官印,让自己的亲信的许、史两家子弟担任南北军和羽林郎的统帅,最终把兵权掌握在自己手中。之后,他提拔霍光的儿子霍禹为大司马,明升暗降,剥夺了他掌握右将军屯兵的实权。还对上书制度进行了改革,下令吏民上书,直接呈皇帝审阅,不必经过尚书,群臣百官进见皇上可以独自往来,把霍山、霍云领尚书事的职务架空起来 [152] 。通过这一系列步骤,霍家掌握的实权被剥夺殆尽,权力逐渐集中在宣帝的手中。 [153]
面对宣帝全面夺权的行动,霍家集团内部先是不满,后来惶恐不安。霍家人知晓了霍显毒杀许皇后的真相后,开始有了邪谋 [154] 。霍云之舅李竟的好友张赦见霍云家族岌岌可危,建议李竟通过霍显告诉上官太后,先杀死当权的丞相魏相和平恩侯许广汉,进而罢黜皇帝。长安男子张章告发了这件事,宣帝就把此事交给廷尉处理。执金吾拘捕了张赦、石夏等人,宣帝看重上官太后的面子,下诏制止,不准拘捕,未予深究。霍山等人更加恐慌,害怕时间久了被追查问罪,决定先动手 [155] 。秋七月,霍氏欲图借上官太后之手杀死宣帝亲信、罢除天子而立霍禹为帝,保住他们的既得利益 [156] 。但叛乱在严阵以待的宣帝面前很快瓦解了。霍氏相约定的计划还没有实施,宣帝就任命霍云为玄菟太守、太中大夫任宣为代郡太守。霍山又因为抄写宫禁秘书犯法,霍显为此上书表示愿献出城西宅第和一千匹马来赎霍山的罪。宣帝在奏书上只批复知道了。就在这时,他们密谋的事被发觉,霍云、霍山、范明友自杀,显、霍禹、邓广汉等人被捕捉到,霍禹被腰斩,显及她的几个女儿兄弟都被处死。与霍氏相连的数千户人家被诛灭 [157] 。宣帝随即下诏公开此事,所有被霍氏所连累的人,如果事情发生在丙申日以前,还没有发觉报官在押的,一律赦免 [158] 。八月已酉日,废霍皇后。在西汉朝廷中盘踞了十几年的霍家势力一朝覆灭,宣帝最终确立了他的绝对统治。
宣帝彻底清除了霍氏的势力,可以大刀阔斧地施政了。
宣帝早年生活在民间,深知吏治好坏将直接关系到百姓的生存发展与社会的和谐稳定。他说“吏不廉平则治道衰”。所以,他即位后,除亲自过问政事,省去尚书这一中间环节,恢复了汉初丞相既有职位又有实权的体制外,还特别重视地方长吏的选拔和考核,并下大力气整饬吏治。为此,刘询建立了一套对官吏的考核与奖惩制度。他多次下诏对二千石(郡守级官吏),实行五日一听事制度;并不定期派使者巡行郡国,对二千石官员的工作进行考察。根据考核结果,信赏必罚。