这一日京城官场产生了大地震，聂豹被嘉靖帝严厉的训斥了一顿，并且罢免了他兵部尚书之职，还给了一个降俸二级的处分。
赵文华等严党弹冠相庆，庆祝他们又取得了一个阶段性大胜利。
事情是这样的。
聂豹与李默相聚之后，似乎感慨颇多，回去就拟写了一篇奏疏上陈:
东南方经历水患之灾，倭患又愈演愈烈，东南百姓已是贫困至极，若祭海神、增田赋，是徒滋劳费，加重百姓的负担。百姓若无活路，难免有人从倭、投倭，如此一来，不仅不能达成所愿，反而事与愿违，使江南倭患更甚，臣恳求圣上三思。
这一封奏疏上陈后，顿时引起一片波澜。
在严嵩授意之下，赵文华立刻上书，痛陈聂豹忤逆圣意，身为兵部尚书不仅不思剿灭倭寇，反而阻止他人剿灭倭寇的努力，其心可诛，其人无能，尸位素餐
鄢懋卿等人也都纷纷上书，从不同角度攻讦聂豹。
什么聂豹老家在江西永丰，亲家在江苏，聂豹之所以反对祭海神、增田赋，完全是出于个人私利，因私废公，其心可诛啊。
什么聂豹诋毁圣意，诋毁灭倭良策，严重怀疑其与倭寇有不正当勾当等等
总之各种泼脏水，严党人多势众，一时间将聂豹泼的惨不忍睹。
嘉靖帝很生气，他都已经令人议定祭海人选了，聂豹竟然公然跟他唱反调，说祭海徒劳无功，还会增加百姓负担，致使百姓投倭!!!!
这不是简单的违反圣意了，这是非议圣意!攻讦圣意!对抗圣意!
加上严党各种泼脏水，兴风作浪，嘉靖帝的怒火被撩的更大。嘉靖帝大怒之下，严厉训斥了聂豹一番，继而又罢免了他兵部尚书之职，还给了他一个降俸二级的处分。
“圣上，老臣年老体衰，旧疾发作，请求致仕南归故里永丰。”
聂豹心灰意冷，直接上了一封退休奏疏，也算是最后的反抗了。
一般重要大员请求致仕，皇上都会挽留一番的，这是惯例了。
可是嘉靖帝正在气头上呢，见聂豹的致仕申请，顿时更生气了，好啊，还敢拿致仕威胁我，好，不是想致仕吗，那朕就满足你!于是，嘉靖帝盛怒之下，大笔一挥批准了聂豹的致仕奏疏!
聂豹的宦海生涯就此戛然而止!
在一个阴沉沉的黄昏，驾着牛车，拉着一车锅碗瓢盆、被褥等简朴行李和背着包袱