汉宣帝即位初期，霍光曾表示要归政于皇帝，将朝政大权交还给汉宣帝。但汉宣帝深知霍光权势滔天，朝中大臣多为霍光亲信，自己刚刚即位，根基未稳，若贸然接受大权，恐引发政局动荡。因此，汉宣帝婉言拒绝了霍光的请求，明确表示朝廷事务的决策仍需先经过霍光过问，再禀报自己。表面上，汉宣帝对霍光极为尊重和信任，每逢上朝，都会给予霍光特殊的礼遇；但在内心深处，汉宣帝对霍光却十分忌惮，甚至在与霍光同乘一辆车时，会感到“若有芒刺在背”，坐立不安。霍光此时虽无谋反之心，但他功高震主，权势远超历代大臣，这也为他死后霍氏家族的覆灭埋下了祸根。

汉宣帝即位后，立皇后之事被提上日程。朝臣们大多依附于霍光，纷纷提议立霍光的女儿霍成君为皇后。但汉宣帝心中早已有人选——他在民间时迎娶的元配妻子许平君。为了委婉地表达自己的意愿，汉宣帝下了一道诏书，称“朕在民间时曾有一把故剑，如今十分思念，希望能找到它”。朝臣们见状，明白了汉宣帝的心意，便不再提议立霍成君为后，转而支持立许平君为皇后。霍光见汉宣帝态度坚决，且立许平君为后符合礼制，便没有表示反对。但当汉宣帝按照汉朝惯例，提出要封许皇后的父亲许广汉为列侯时，霍光却出面反对。霍光认为，许广汉曾因犯罪受过宫刑，不符合列侯的身份要求，若封其为列侯，会破坏朝廷制度。汉宣帝无奈，只好暂时搁置了封爵之事。

霍光的继室显（姓氏不详，史称霍显）对女儿霍成君未能成为皇后一事耿耿于怀。她认为，以霍家的权势，霍成君理应成为皇后，许平君不过是民间女子，不配母仪天下。为了让女儿登上皇后之位，霍显竟生出了一个恶毒的计划。恰逢此时，许皇后怀孕待产，霍显暗中买通了为许皇后接生的医生淳于衍，让她在为许皇后接生时，暗中下毒将许皇后害死。淳于衍起初不敢答应，但在霍显的威逼利诱下，最终还是答应了这个请求。

许皇后生产后，淳于衍按照霍显的指示，将毒药掺入了为许皇后调理身体的汤药中。许皇后服用后，很快便出现了中毒症状，不久后便去世了。许皇后的突然离世引起了汉宣帝的怀疑，他下令彻查此事，淳于衍因涉嫌下毒被逮捕入狱，接受审讯。霍显得知淳于衍被抓后，十分害怕，担心事情败露会牵连到自己和霍家，无奈之下，只好向霍光坦白了自己买通淳于衍毒死许皇后的真相。

霍光得知真相后，惊骇不已。他万万没有想到，自己的妻子竟然会做出如此胆大妄为、触犯国法的事情。起初，霍光想要将霍显交给朝廷治罪，以维护法律的公正和自己的声誉。但在霍显的苦苦哀求下，霍光最终还是碍于夫妻情分和对霍家未来的考虑，选择了隐瞒此事。他利用自己的权势，压下了对许皇后之死的追查，释放了淳于衍，将此事草草了结。不久后，在霍光的支持下，霍成君被册封为皇后，霍显的野心终于得以实现。

地节二年春三月庚午，即公元前68年4月21日，霍光因病重逝世，享年约六十岁。霍光在临终前，向汉宣帝上书，请求将自己封邑中的三千户分封给侄孙霍山，让霍山继承自己兄长霍去病的香火（霍去病是汉武帝时期的名将，死后无子嗣，霍山是霍去病的孙子辈）。汉宣帝念及霍光辅佐三朝、为汉朝立下的赫赫功绩，答应了他的请求，追封霍光为宣成侯，赐谥号“宣成”，并以极高的规格将霍光安葬在茂陵附近，让他陪伴在汉武帝的身边。

霍光的一生，充满了传奇色彩。他辅佐汉昭帝、废立昌邑王、拥立汉宣帝，在西汉王朝的权力交替中扮演了至关重要的角色。他推行的休养生息政策，为“昭宣中兴”奠定了基础，让汉朝得以从汉武帝晚年的动荡中恢复过来。

然而，霍光铺政终究不过是朝堂上一时的权力游戏而已。霍光虽然也有一定的治国能力，但他更看重的是对权力的控制。他后期权倾朝野，把废立之举，玩于股掌之间，使得汉宣帝对他忌惮不已，如芒在背，这既折射出汉武帝后皇权的衰落，也反映了历史上权臣们的一贯作法，即挟天子以号令天下。不过，他也终究没有篡位，这倒是为他留下了历史好评。依愚所见，他的能力一般，远不及后世曹操。但这点或许也正是汉武帝用他的老辣之处！

他晚年对妻子毒杀许皇后一事的包庇，以及霍氏家族的专权，最终导致了他死后霍氏家族的覆灭。尽管如此，霍光作为西汉时期杰出的政治家，其功绩仍被载入史册，成为后世讨论辅政大臣时无法绕开的重要人物。