川路圣谟拒绝跟着忠右卫门撤回江户，他说他受将军之命，抚理浦贺，有守土之责。若是浦贺失守，他也不能独存。
人各有志，忠右卫门估摸着美国人的心思不会放在浦贺上面，便也不强求川路圣谟跟着自己一起撤退，只吩咐他一个时辰一报，不要断了消息。
江户湾内的水路是没有办法走了，忠右卫门只能带着人马从陆路向品川撤退。在品川御殿山炮台驻守的松平齐宣早就看到美国海军大摇大摆的来到，并向江户的方向鸣炮示威。这会子，急的团团转，见到忠右卫门之后，连忙拉上忠右卫门往江户城赶。
等快马到城，只见街道萧瑟，原本布置在各街道的藩兵和旗本御家人，这会子已经逃散了多半。老百姓都知道沿海不安全，全都往北武藏、上野、下总跑路，曾经百万人口的大都会，现在不知还有几个人。
“怎么就到了这地步？”松平齐宣这两天一直没有合眼，眼睛里全是血丝。
“您二位终于回来了，大御所薨逝，现在本城一片混乱呢。”早就在日本桥等候两人的江户南町奉行助六立刻迎了上来。
“什么！”两人走的都急，这才知道。
身旁的松平齐宣只觉一阵天旋地转，他是真的爱幕府，偏偏他爱的这么深沉的幕府，显现出一副亡国的样子，让他难以接受。
“诶诶诶，快扶住明石侯。”忠右卫门赶忙让助六扛住下马的松平齐宣。
“江户情形如何？”
“别说了，糟糕到不能再糟糕。”
助六把松平齐宣交给两个属下扛着，同忠右卫门快步登城。他也是好两天没有合眼了，身为江户南町奉行，守土有责，一旦江户失守，他无面目去见自德川家康以来的历代先君。
按照他的说法，传习队离开江户前往浦贺和富津布防后，城下百姓和部分武士就开始跑路，他们担心没有大军守卫的江户，根本就无法坚守。但那时跑的人只是部分，江户湾天险，或许能够抵挡一二呢。
等佩里率兵炮击品川之后，全城大溃，好容易集合起来的几万旗本以及藩兵，基本上全都跑了。累代奉公的旗本御家人，并不比百姓强上多少。随后德川家庆薨逝的消息走漏，连最后那点子坚定的武士都动摇了，所有人都觉得幕府的气运已经到此为止。
眼下还在江户的，恐怕只有暂时不方便跑路的诸藩大名，以及幕府直接统率管辖的人马部队而已。全城不知道还有没有十万人，或者二十万人。
有一说一，助六都把自己的家人送去了上野宽永寺。他守土有责，可他的新婚妻子才怀孕，怎么忍心就留下来跟着一道死呢？
唉……
忠右卫门只能哀叹一声，幕府承平日久，天下军民不习战事，不闻兵戈，只要稍微有些风吹草动，人心便会败坏。如此情形，又有什么办法呢。
登城观瞧，连本城的警备和规矩都出现了瓦解，原本秩序井然的中奥内，到处都是面色惊惶，身着行装的武士。来来往往的，助六没有诏令，也这样跟着忠右卫门一道进来了。
尚未入殿，便听到殿内的争论之声。吵架的内容便听得忠右卫门眉头紧皱，殿上居然有人在指责刚刚是诸藩兵马先行溃散，随后导致幕府的旗本三四万人也跟着跑路。
怎么殿上会有外样诸侯！