战败的上杉家被改易，领地只剩下米泽三十万石。
毛利家等被改易的大名大多靠大批裁员来保持财政平衡，可是上杉景胜却认为不能丢下这些为上杉家流过血的家臣不管，硬是咬着牙不裁一人。区区三十万石的领地，却要养活六千家臣，上杉家刚到米泽的时候堪称筚路蓝缕，连高级武士都难得吃顿饱饭。好不容易缓过一口气，幕府又不断地让上杉家承担各种工程的普请来消耗其实力，德川幕府的禁教令比丰臣政权更为严厉，但是上杉景胜还是顶了下来，因为北方的切支丹并不多，活动也无南方那么显眼，幕府一时顾不上他们。
可是到了元和九年，发生了两件对于上杉家的切支丹造成毁灭性打击的大事，一件是上杉景胜去世，他的儿子上杉定胜继位，另一件则是二代将军德川秀忠让位给了他的儿子德川家光。
德川家光时代幕府统治严苛，是着名的“武断政治”时期。被改易的大名数不胜数，纵是谱代大名尚且不免，何况是上杉家这样的“西军余党”，而上杉家纵容切支丹正是一个绝好的借口。宽永五年，上杉定胜终于顶不住幕府的压力了，为了不连累上杉家，甘粕信纲和其他几个切支丹家臣很爷们地选择了切腹，而他的儿子，年仅七岁的甘粕右卫门则被教友带着，在漫天飞雪中逃离了米泽。
出奔的几个米泽切支丹在酒田凑上了船，辗转来到平户，又从平户到了大员。本来他们是想直奔马尼拉的，可是从米泽跑出来的时候身上就没带几个钱，从平户到大员已经是靠对船主苦苦哀求才算是只出了一半的钱才上得船，实在是没钱再去马尼拉了。于是他们只得在大员附近的日本人村落中留了下来，靠给荷兰人当佣兵养家湖口。
给荷兰人打工的生活很不愉快，荷兰人不许这些天主教徒按天主教的仪轨礼拜。但更严峻的考验是这里的气候，从冰天雪地的越后和米泽来的北国武士完全适应不了高雄潮热的天气，三年下来，或者病死或者在与土着人的冲突中送了命。最终，这批来自北国的流亡者只剩下了甘粕右卫门一个人。
甘粕右卫门靠着干杂活勉强吃饭，他年纪小，身体也不健壮，其实也干不了什么活，很多时候还是靠人施舍，就这样苦捱了大约一年，他听说南边的打狗来了一般奇怪的海贼，在岸上建起了营寨，还在招募人当兵，什么人都要。
反正也是吃不饱饭，不如去投海贼吧，甘粕右卫门抱