安政二年（1855年）八月，因齐昭一系的压力，支持与西洋诸国签署约定的两位老中，松平乘全、松平忠优，被罢免，但此事引发了对手的激烈反弹。
谱代大名、大身旗本势力开始抱团，并很快做出了反击——同年十月，齐昭一系提出的老中人选未被采纳，而支持两位被罢免老中的佐仓堀田家主正睦升任老中，并主管与外国的交涉事务。
同月，江户大地震爆发，心力憔悴的阿部侍从正弘将老中首座让与堀田，而自身退任胜手方老中。
这样的政局反复是权势架构重塑的必然结果。
嘉永七年，也就是安政元年（1854年）六月，面对西洋诸国的压迫，幕府不得不提出举扶桑一致的口号，希望联合所有势力共度难关。
当时老中阿部侍从等人规划的是挺好，希望引入德川亲藩齐昭一系的力量后，能增强幕府的实力和影响力，进而网罗原本处于权势边缘的势力——京都小朝廷和外样大名，从而一箭三雕，既能保证局势的平稳，而且还能维系幕府的主动，顺便可以压制幕府内部食古不化的臣子。
可万万没想到的是，水户老藩主齐昭复出后，确实声势不小且支持者众多，但齐昭一系却莫名其妙地抛弃了默契，将矛头直接指向了幕府中枢老中评定会。
于是，本来可能出现的大好局面变成了一锅粥——亲藩、谱代大名和旗本不但不能精诚团结，反而幕府内部先打起来了！
安政（1857年）和历七月，在直秀赶往江户请罪之前，白主奉行所内部进行了局势推演，当时江川英敏代直秀说出了齐昭的各项不足：
首先，意气用事是齐昭的最大问题。
君子藏器于身，待时而动。
可恃才傲物的齐昭偏不——复出前与老中首席阿部侍从建立的默契，没多久就被他自己破坏掉了。
齐昭于弘化元年（1844年）就退隐了，水户家主之位也交给了儿子庆笃，为了让他复出参与幕政，阿部推动幕府于嘉永六年（1853年）任命他为海防挂。
可在复出的第二年，齐昭因为对《扶桑米国和亲约定》的签订不满，他自己把海防挂辞了。
后来，在阿部的努力下，幕府又任命齐昭监督水军建设。
但因树敌过多，兜兜转转之后，齐昭一系却一直没有拿到什么重要的役职。
如今扶桑的治政由幕府执牛耳，而幕政的两个中心是公方样侧近人和老中评定会——侧近人等近侍靠影响将军而拥有最终决策权；老中评定会是幕府各种役职的顶峰，拥有行政权。
本来，因为齐昭名气大、身份高，而且将开国弊端说得清清楚楚，白主众人对他印象很好，可时间一长，直秀等人发现这位是猛将而不是帅才。
齐昭把一手好牌打得稀巴烂：
支持的人多，有人望；身为德川家顶级亲藩，有名位。
可人望、名位两不缺的齐昭，一直纠结于具体事务的对错，完全抓不到重点
就拿罢免两位老中来说吧，赤膊上阵是第一不可取，而齐昭一系没拿到空出的老中役职更是个笑话！
从提出“举扶桑一致”起，阿部一系已经扯开了幕政专断的口子，只要齐昭耐心和他配合，将军侧近人也好，老中也罢，这两种顶级役职一定会
让出一些位置给齐昭一系。
可齐昭非要通过弹劾这种激烈的方式，完全是画蛇添足、过犹不及。
是，与西洋诸国签署的约定有一些弊端，但你非要拿这点做文章，徒然树敌而已——完全可以先忍耐一下，等到自己一系掌握大政时再做纠正。现在可好，要知道当时支持签署约定的大名和幕臣很多，齐昭一下子就把这些人都推到敌人的位置上了。
非对即错，这样的人执政，政局能平稳么？齐昭一系的激烈手段导致了很多人的担心。
于是很多人的立场由中立变成了反对，导致两个老中被罢免但齐昭等人一个空出来的位置都没拿到！
作为成熟的治政家，妥协和利益交换是难免的，但齐昭过于意气用事，给自己额外增添了很多不必要的困难。
齐昭的第二个弱点是大略不通。
当然，这也是首席老中阿部正弘的问题。
既然提出了举扶桑一致，那么原有的权势架构就要改变：
原本的幕政架构里，将军侧近人和老中是顶级役职。
激进的改变方式是另起炉灶，重新建立起一套新的制度——但这容易引发大的动荡，各方难以达成一致。