便需要全量模型,全程调用全量模型,和只在有需要的步骤去调用全量模型,消耗的资源也是大相径庭的,但结果可能是一模一样。
“训练提升难住我了,裁切蒸馏还不是手拿把掐!”
深夜课堂学了这么久,郝成还是有几把刷子的,微意识体的模型训练力有未逮,但压缩郝成还是有办法的。
更何况,郝成还有小沙这个绝佳的辅助工具。
“小沙,帮我统计并分析一下所有的用户行为,并将他们最常使用的能力和功能分类列举出来,从大到小进行排序。”
原本就这个工作量,没有十天半个月都不可能完的成,但现在有小沙,所需时间顿时缩短到顷刻间。
郝成现在的思路就是:将小沙完全体作为全量模型,压阵,轻易不出,只有当问题确实解决不了了,才转到这里。
然后就是分门别类,根据分类将小沙分别压缩成若干个各自领域和专业的小模型。
后续,用户请求,就先经过甄别,由对应领域的小模型处理。
比如,与人的交互,当然是语言模型最先接手,然后一步一步去处理。
至于ai使用元素级应用、ai保障网络完全、ai开发应用和软件等等这些,第一步就可以省了——ai与机器的交互,还通过语言模型再转一道,除了消耗资源之外,毫无意义。
第一个阶段方案的雏形迅速的被设计了出来。
这个阶段,郝成也不求精,就干一件事儿——裁剪,也就模型剪枝。
比如,第一个要做的小模型:语言识别。
那就把除语言识别能力以外的能力全剪掉,你只需要识别语音,转成文字就可以了,连理解都不需要,那是第二个模型的事儿。
依照这样的理论,在郝成的指导下,小沙本“人”操刀,一个又一个的专业或者复合小模型迅速诞生。
翌日上午,一到公司,郝成就喊来了曹松:“将我们办公区这儿的这个算力服务器腾出来,负载节点直接停了就行,会自动分流到其他服务器。”
这个算力中心还是最初来自华为,总体规模也比较小,现在原本承担的任务就不算多,郝成准备直接停掉它的对外服务,作为内部ai训练的实验来使用。
也借此机会对自己使用的小沙和对外提供服务的小沙提供一个物理区隔。
而今天,郝成要做的,就是试试小沙昨夜工作了一夜的成果。
点击读下一页,继续阅读 辰小序 作品《裁员后,我成了科技教父》第137章 方案顺利通过验证