霍光做梦都没想到，自己请回来的竟然是这样一位缺心眼的皇帝，真是哭笑不得。霍光为人臣子，不敢太过张扬，先是与自己的心腹大司农田延年商量办法。田延年对霍光说：“如果大司马觉得这家伙不合适，何不将情况秉明太后，将这人赶下台，重新挑一个合适的人选呢？”

霍光答道：“我也想这么做，不过我不知道古代是否出现过类似的前例。”田延年肯定地说道：“古代有类似的前例，殷商时期的国相伊尹，见国君太甲昏庸无道，便带着群臣将他废掉了。伊尹废黜太甲，为国家换来了安定，老百姓都说他是忠臣。大司马如果废掉刘贺，那就成了我朝的伊尹了。”

见田延年支持自己，霍光的心里有了底，于是他又让田延年去找丞相杨敞，寻求他的支持。杨敞的政治能力中规中矩，但他的胆子很小，生怕惹出乱子。杨敞听说霍光要废掉皇帝，冷汗直流，一时瞠目结舌连话都说不清楚了。

杨敞的夫人见丈夫唯唯诺诺，趁着田延年换衣服的时间，对杨敞说道：“这可是举足轻重的大事，如今大司马已经下定决心要废帝，还派大司农统治你，如果你不痛痛快快地与大司马合作，将来会有好果子吃吗？”道理杨敞都懂，但他仍畏首畏尾，不肯做出决定。无奈之下，杨敞的夫人只能亲自出面，对田延年表示：“一切听从大司马吩咐。”