改名后的第二年（公元737年），橘诸兄出任右大臣，接着正式开始行动。
他首先提拔了下道真备，任命其为从四位下右卫士督，等于是管皇宫四个大门中的一个，而玄昉自然也没给落下，除了之前推荐他担任僧正之外，还把大内皇家专用的佛道场也交给了他管。
这种摆明了就是拉帮结派想要对抗藤原家的举动，很自然地惹毛了藤原仲麻吕，为了和橘诸兄对抗，他决定联合藤原家的全部力量，与之一较高下。
可惜他做不到，不是能力不够，而是藤原家的人突然都死光了。
就在这一年（公元737年），一场天花降临了平城京，一时间整个京城里头死尸遍地，无论是达官显贵还是平民百姓都无法幸免。
藤原不比等当年生了四个儿子，分别是藤原武智麻吕、藤原房前、藤原宇合和藤原麻吕。
结果这四位都在这场天花中被夺走了性命。
其中藤原武智麻吕是藤原仲麻吕的亲爹。
好好的一个藤原家一下子倒了四根中流砥柱，他藤原仲麻吕就是再能耐这会儿也翻不出跟头来了。唯一能做的，就是看着家里人畜平安的橘诸兄不断地扩张自己的势力。
实在是被逼得不行了，也只能背后搞搞小动作，比如搜集一些八卦新闻出去散播，八卦的对象主要是玄昉，因为这秃驴成天待在太后寝宫不说，出了宫在外面也是整日花天酒地享乐人生，全然没有一副出家人的样子，并且还多次怂恿天皇说要造一尊大佛，让百姓来祭拜，这个建议连下道真备都表示了强烈的反对，理由是过于耗费民脂民膏。