一次预测多个token，Meta新模型推理加速3倍，编程任务提高17%

发布时间: 2024-05-06 12:46:30 来源：量子位

观看：252

若无远虑必有近忧？

“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？

Meta AI法国团队推出“基于多token预测的更快&更好大模型”。

多token预测模型，在编程类任务上表现尤其突出。

与单token预测相比，13B参数模型在HumanEval上多解决了12%的问题，在MBPP上多解决了17%。

小型算法推理任务上，多token预测也在分布外泛化方面带来了令人印象深刻的收益。

不过在自然语言任务上，多token预测方法并不能显著提高7B模型在数学选择题上的表现了。

另外一个好处是，即使batch size较大，使用4-token预测训练的模型，推理速度也可提高3倍。

多token预测更适合编程

具体来说，团队设计了一种新的多token预测架构，通过n个独立的输出头并行预测n个未来token。

使用大量文本数据进行模型训练，包括代码和自然语言数据集。

再通过实验比较多token预测和单token预测在多个下游任务上的性能。

为啥多token预测在编程任务和小型算法推理任务上提升更明显？

团队猜测可能有两个原因:

第一，编程语言的逻辑结构更严谨，知识的内在联系更紧密。一个关键节点可能影响到后续整个代码块的走向。多Token预测能更好捕捉这种长距离依赖。

第二，相比自然语言，编程语言的词汇量更小。因此即便每次预测多个Token，难度也没那么大。反而能迫使模型从局部细节中抽身，着眼全局优化。

除了在token层面的实验，团队还在更细粒度的字节级模型上做了尝试。

他们发现，用8字节预测替代下一个字节预测后，模型在MBPP上的Pass@1指标暴增67%，在HumanEval上也提升了20%。

而且推理速度还能再快6倍，简直不要太香。

对于背后原理，团队认为多token预测缓解了训练时Teacher Forcing和推理时自回归生成之间的分布差异。

也就是说，在训练的时候，模型看到的都是标准答案，生成的时候却得靠自己。好比人类在家做练习册时有答案，考试时却啥也没有，就会不适应。

而多token预测相当于训练时就逼着模型多想几步，这样到了考场上，才能应对自如。

从信息论的角度，团队还给出了一个更精确的论证。

传统的下一个Token预测，目标是最小化当前位置的信息熵。而2-Token预测实际上最小化的是当前和下一位置的信息熵之和。

数学推导表明，后者其实隐含了更大的互信息权重，也就是更看重当前Token和未来Token的相关性。这就是为什么多Token预测更”有远见”。

不过在这篇论文中，还有几个未解决的问题。

比如没有探讨如何自动选择最佳的预测token数量n，作者提出，未来可以研究使用损失权重调整或动态调整n来解决最佳n的选择问题。

此外最佳的词表大小也可能与单token预测时不同。

总之，看过这篇论文之后，大家都更期待Llama-4了。

论文地址：
https://arxiv.org/abs/2404.19737

记者19日从兰州大学获悉，天华肉羊通过国家畜禽遗传资源委员会审定鉴定，成为我国首个适应高寒气候的肉羊品种。该品种由兰州大学草地农业科技学院李发弟教授和乐祥鹏教授团队，联合甘肃省武威市天美国《发现》杂志网站2月7日刊登题为《200万年前，我们的人类祖先开始从水里捞鱼》的文章，作者是科迪·科蒂尔，内容编译如下：捕鱼可能是一种占许多国家蛋白质消费极大比例的全球性行为，但捕据阿根廷布宜诺斯艾利斯经济新闻网报道，一项国际研究发现，阿尔茨海默病的早期症状可能表现在视力上。研究显示，即便眼科检查结果正常，但阅读、估计距离和触及物体的困难都是可能揭示阿尔茨海默病 3月20日8时31分，探月工程四期鹊桥二号中继星由长征八号遥三运载火箭在中国文昌航天发射场成功发射升空。火箭飞行24分钟后，星箭分离，将鹊桥二号中继星直接送入近地点高度200公里、远地点高度42 记者3月21日从安徽师范大学获悉，该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段，证实他们前期提出的，眨眼行为可能在雌性凹耳蛙性选择中起着重要作用所谓香喷喷的婴儿，到底是源于人们的爱意，还是说确有其香？《通讯·化学》21日一项小型研究首次分析了婴儿和青少年体味化学组成的差异。研究显示，有两种较难闻的化合物仅在青少年体味样本中。

本文链接：一次预测多个token，Meta新模型推理加速3倍，编程任务提高17%http://www.sushuapos.com/show-2-5645-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：阿里林俊旸：大模型对很多人来说不够用，打造多模态Agent是关键 | 中国AIGC产业峰会

下一篇：美图吴欣鸿：国产Sora竞争关键，在创意、工作流和垂直场景 | 中国AIGC产业峰会

一次预测多个token，Meta新模型推理加速3倍，编程任务提高17%

多token预测更适合编程

热门资讯

推荐资讯

科技最热文章