DeepMind最新研究：如何将「大口语模型」 训练到最优？

Transformer的驳斥距离我们已经有5年的时间，随着仿真比例的促使上升，性能指标提升也逐渐显现出来边际效用递减的可能。如何专业训练出最优性能指标的大仿真？

值得注意，DeepMind做了一项调查，不想弄清AI词汇仿真的比例和token之间的的关系。这个人小组专业训练了大约400个仿真，比例从7000万值到160亿值不等，token比例从50亿到5000亿不等。

该人小组发现，仿真值个数和token的比例成正相关，换句话说，当仿真比例大大的的时候，token也一定会大大的。

目前确实是大仿真时代，自从1750亿值的GPT-3横空出世时，勾起了科学研究所的兴趣。近两年的时间，业内陆续推出了好几个仿真，且一个比一个大，并且在大部分特殊任务上获得了更让人更让人深刻的性能指标。

但这种超越认知的性能指标发挥，是以巨大的量化和能源消耗为回报，业内也一直在咨询这种回报一定会值得。例如前络易科学研究所Timnit Gebru就曾撰写论文咨询“AI 词汇仿真一定会不想像中大以及科技公司在增大潜在风险全面性做得一定会足够。”她也因为该论文被络易解雇。

大仿真的专业训练经费一般是提前计划好的，无论如何专业训练一次成本不想像中大。因此，在给定经费的条件下，直观估计值最佳仿真超值变得颇为决定性。之前，也有学者已经证明值的比例和自回归词汇仿真（autoregressive language model）的性能指标之间存在幂律的关系。

例如原本的科学研究表明，10倍量化经费对应增加5.5倍仿真比例，以及1.8倍的token比例。但这项科学研究表明：仿真个数和token的比例一定会成等%上升。

此外，科学研究所还预见，对于专业训练Gopher（2800亿个值的词汇仿真），最佳仿真一定会小4倍，并且一定会在大4倍的token上进行专业训练。这一预见，在包含1.4万亿个token的 Chinchilla中的专业训练受益验证。Chincilla的性能指标优于Gopher，由于仿真比例减小，推理成本也极为高于。

大仿真只有在大原始数据集上才能发挥最大的效力，同时，DeepMind也确信，检视大原始数据集时无需格外小心，专业训练集和次测试集的合理区分，才能最大化词汇建模损失以及最优赋能中游特殊任务。

科学研究界必须考虑与此类大型仿真相关的和个人资料弊端。正如过去所咨询：从络络上收集的大型原始数据集包含有毒的词汇、种族主义和出租信息。

关于大仿真如何极为高效的弊端，全因，清华大学李存从仿真架构某种程度也驳斥了看法《清华李存：大仿真「十问」，找出一新范式下的科学研究同方向》，他暗示：

随着大仿真越变越大，对量化和加载成本的消耗人为也越来越大。值得注意有人驳斥GreenAI的概念，即无需考虑量化增量的可能来综合设计和专业训练人工智能仿真。面向这个弊端，我们认为，随着仿真变大，AI则会越来越无需跟量化机系统进行结合，从而驳斥一个极为高效面向大仿真的支持体系。一全面性，我们无需去筹建极为加高效分布式专业训练的迭代，在这全面性国内外都有颇为多的相关探索，包括国际上比较闻名于世的DeepSpeed 以及一山团队在开发新的一些减缓迭代。

另一个全面性，大仿真一旦专业训练好去使用时，仿真的“大”则会让推理过程变得极为为缓慢，因此另外一个第一线同方向就是如何高效将仿真进行尽可能的缓冲器，在减缓推理的同时保持它的真实感。这全面性的主要技术定线包括剪枝、、量化等等。同时值得注意我们发现，大仿真里面具有颇为强的密集补发的人为现象，这对于仿真的高效缓冲器和量化有着颇为大的帮助，这全面性无需一些专门迭代的支持。

雷峰络