这时的神保长职已经丧失了继续抵抗越后上杉军的能力，见越后上杉军兵力强悍，单凭神保家一己之力将难以抗衡。
这时，神保家的重臣们开始纷纷劝说神保长职，放弃鱼津城、眼目城、室田砦、小出城等东新川郡的城池兵砦，不如退守神保家本据富山城或者妇负郡和南射水郡。
“主公，据闻佛生寺城的细川越中守殿有倒戈越后上杉家的举动。”就在神保长职召开军议准备商议下一步该如何行动之时，神保家重臣之一的愿海寺城城主寺崎行重汇报了一个令在场所有人都震惊的消息。
“寺崎民部左卫门，此事当真？！”神保长职听完寺崎行重的话后连手都开始不禁颤抖起来，他很清楚佛生寺城的重要性，一旦佛生寺城城主细川越中守倒向越后上杉家的话，其居城佛生寺城就能立即阻断常愿寺川至上市川一带南北和东西方向的交通，这对于神保家来说无疑是继失去天神山城后的又一个巨大打击。
若是细川越中守对守备空虚的神保家腹地发起攻击的话，神保长职所率的神保军主力将会很快失去粮道和退路，很有可能会被越中细川军和越后上杉军东西两面夹击之下全军覆没。
而神保长职之父神保庆宗先前就是在能登的匠作畠山家和越后的府中长尾家两面夹击之下，在失去了本据和大量领地后因此败亡的。神保长职可不希望自己接下来步了其父的后尘。
“若是细川越中守倒向越后上杉家的话，那么周边的弓庄土肥家、堀江土肥家等新川郡诸将极有可能效仿其所作所为。到了那时，我军就万分危急了！”这时，坐在神保长职右侧的神保长职叔父神保庆明为此感到非常担忧，甚至还在反思自己为什么会鬼迷心窍的加入神保长职一方出阵东新川郡。原先的自己还是同时隶属于能登的匠作畠山家和越中守护代神保家，万一此次神保家再一次断绝家名的话自己必然会遭到越后上杉家的清算。想来想去神保庆明是越想越后悔自己跟着神保长职来东新川郡。
“出云守殿所言甚是，细川越中守可是越中五大将（越中守护代神保家、越中细川家、椎名家、辔田家、石黑家）之一，其实力我等可不能小觑。不如我军就此弃守鱼津城、眼目城、室田砦、小出城等地后撤至新庄城（太田之新城）、太田本乡城、莺野城一带，据险而守，以此来抵御越后上杉军的侵攻。”上熊野城城主二宫长恒也非常赞同神保庆明的看法，毕竟越中细川家在东新川郡的影响力比神保家大多了。
“主公，急报！越后水军的平田善次郎、须田监物、须田右京等人从海路不断的袭扰放生津城、愿海寺城、古国府城、守山城等地，若是继续放任不管的话，沿海一带的城池兵砦将不复主公所有了。”这时，小谷六右卫门快步走入鱼津城的大广间里，将手中一叠的告急文书递给了神保长职，让其阅览。
“什么？！看来我等不能在鱼津城继续久留了，立即退往本领，要快！”神保长职接过一叠的告急文书后稍微看了几封后再也坐不住了，他很清楚沿海的放生津城、古国府城、守山城等地对于神保家来说也是至关重要的。若是被越后水军众所夺取的话，自己将会腹背受敌。特别是眼下能登的匠作畠山家依旧是态度不明，若是匠作畠山家也加入越后上杉家一方对西越中展开侵攻的话，神保家将会再一次面临家名断绝的险境。
“遵命。”神保家的一众家臣们对此皆无异议，他们心里都很清楚，若是继续与越后上杉家在东新川郡打下去的话迟早要被越后上杉军歼灭。他们其实都在等当主神保长职下定决心撤离东新川郡一带。
就这样，神保家上下众人皆深知不敌越后上杉家凌厉的攻势，只好放弃目前所控制的鱼津城、眼目城、室田砦、小出城等地而走，往神保家的本据富山城方向不断后撤。