王扬读这篇文章读得哭笑不得，同时也暗暗心惊。此文到处都是牵强附会，却唯独说对了一点，就是认为王扬在常平仓的筹建中发挥了重要作用，甚至还推论出王扬是借由新野庾氏充当中间人，然后说动士族和官府合作的，只不过为了表现王扬筹谋之深，便说他当初入郡学，便是为了结交庾家二公子。
也多亏这些争论只限于学子儒生间的“意气之争”而不被外界当真，要不然王扬还真担心会不会引起王泰多想。其实就算王泰知道是王扬请庾易出面，问题也不大，只不过这样一来，容易让王泰更加重视自己。这对于反攻计划的实施，有害无益。
刚开始王扬还出面澄清，说绸缎之事与常平仓没有关系。
可他越澄清，支持者们便越不信，都是一副“我懂”的表情，连连点头，然后继续投身论战；还有人效仿绸粮释论索隐笺释的方式，逐字逐句地剖析解读王扬澄清的话，认为其有“不得已者三，可为叹息者二，功成不居之德一”。说得那叫一煞有介事！
王扬啼笑皆非，再有人寻问，便只是摇头否认，但不做具体言辞。反对者见此重整旗鼓，说王扬自己都不说话了，你们还在这儿强辩什么！并四处宣扬王扬羞于开口的消息。
谢星涵匿名撰文，题名不言之证，详述王扬不说话的原因在于“知我者，不必言之；不知我，何必言之？”并举王坦之问韩康伯“何故不言？”韩康伯答云“无可无不可”为例，说王扬“功成身退，故言与不言，亦在无可无不可之间”。文末写道：
“夫子曰：‘天何言哉？四时行焉，百物生焉，天何言哉！’大辨不言，大德不称，昧其旨者，噪如飞蝇。”
文章言辞犀利，讽刺意味极足，兼之篇幅精悍，文字简略，阅读门槛大大降低，一经问世，便快速流传开来，将论战气氛推向高潮，同时给予反对者沉重一击。自此文之后，攻诘王扬从商的人皆被冠以“飞蝇”之名，问何谓飞蝇？答曰：庸言庸行，唯他人是评；一事不成，只会嗡嗡不停。
反方大溃。
在常平仓建得如火如荼，学子间的论辩也进行得如火如荼之时，与这两件事都有关的王扬却已经抽身远离，静下心来，读书、练字、习武、骑马、运筹生意，照常过日子。由于还增加了个背书的任务，所以除了之前和刘昭商定好的，每三天去一次郡学之外，其余的交游邀约则是能推就推。为了避免被打扰，还学了谢星涵封门那一套。
不过有时也会遇到封门没用的情况。比