再低调，再谦让，那也是装出来的。严嵩的权力欲望也很强，希望自己一个人说了算，处处排挤内阁其他官员，不让他们行使票拟职权。各个重要部门，他也安插了自己的亲信，形成一个集团，大家都是一条绳上的蚂蚱，平时呼风唤雨，依靠政治地位谋取各种利益。不管权势多大，严嵩始终还是嘉靖皇帝的臣子，必须得到皇帝的支持。朱厚熜不是在修仙嘛，传下来的旨意越来越玄幻，根本不知所云，可严嵩又要完成皇帝交代的工作，这让他很为难呀。这时他就要倚仗儿子严世蕃。严世蕃特别能够领会皇帝的意图，猜得往往八九不离十，每有旨意，严嵩就让儿子先翻译，写成他可以理解的语言，再去执行。嘉靖皇帝听说交代的工作都已做好，对严氏父子更加满意了。
吏部尚书李默，对严嵩插手人事任免特别不满，工作都被你严嵩做了，还要我这个吏部尚书干什么？严嵩嫌他事多，不听话，想换一个人，把升迁任免部分官员的权力掌握在自己手里。当时辽东巡抚这个岗位有空缺，朱厚熜让大家商量，推荐几个人选。李默就推举布政使张臬、谢存儒两个人。朱厚熜又问严嵩感觉这两个人怎么样，到底行不行。严嵩知道是李默举荐的，说：得了吧，根本就胜任不了。皇帝一听，感觉李默不称职，看人没有眼光，举荐不到位，将他给罢免了，换成万镗。万大人对严阁老很是感激，遇到事情都附和，比较听话。没想到第二年，万镗也被罢免了，政敌李默重新当上了吏部尚书，他和严嵩在用人方面产生了新矛盾。怎么整倒他呢？严阁老与亲信赵文华一合计，有办法了！李默以前在选人策问中说“汉武、唐宪以英睿兴盛业，晚节用匪人而败”，他们把这件事告诉皇上，参他借古讽今，污蔑嘉靖皇帝老而昏聩。朱厚熜看了果然不满，于是李默被关进监狱，最后死在了里面。他在吏部的职务，就被严嵩的心腹给拿下了。