快讯科技财经汽车社会旅游娱乐时尚健康生活科学教育

热搜： “五一”快桌面CNC赛 2026香港十湖北以旧换司法部负责三亚亚龙湾嘻哈包袱铺

首页 > 科技

“大海捞针”out！“数星星”成测长文本能力更精准方法，来自鹅厂

发布时间: 2024-04-02 17:05:20 来源：量子位

观看：282

GPT-4和Kimi已接受测试

大模型长文本能力测试，又有新方法了！

腾讯MLPD实验室，用全新开源的“数星星”方法替代了传统的“大海捞针”测试。

相比之下，新方法更注重对模型处理长依赖关系能力的考察，对模型的评估更加全面精准。

利用这种方法，研究人员对GPT-4和国内知名的Kimi Chat进行了“数星星”测试。

结果，在不同的实验条件下，两款模型各有胜负，但都体现出了很强的长文本能力。

△横轴系以2为底的对数坐标

那么，“数星星”究竟是怎样的一种测试呢？

比“大海捞针”更加精准

首先，研究人员选择了一段长文本做为上下文，测试过程中长度逐渐递增，最大为128k。

然后，根据不同的测试难度需求，整段文本会被划分成N段，并向其中插入M个包含“星星”的句子。

实验过程中，研究人员选择了《红楼梦》作为上下文文本，向其中加入了“小企鹅数了x颗星星”这样的句子，每个句子中的x都各不相同。

然后，模型会被要求找到所有这样的句子，并以JSON格式输出其中所有的数字，且只输出数字。

得到模型的输出之后，研究人员会将这些数字和Ground Truth进行对比，最终计算出模型输出的正确率。

相比于之前的“大海捞针”测试，这种“数星星”的方法更能体现出模型处理长依赖关系能力。

简而言之，“大海捞针”中插入多个“针”就是插入多个线索，然后让大模型找到并串联推理多个线索，并获得最终答案。

但实际的“大海捞多针”测试中，模型并不需要找到所有“针”才能答对问题，甚至有时只需要找到最后一根就可以了。

但“数星星”则不同——因为每句话中“星星”的数量都不一样，模型必须把所有星星都找到才能把问题答对。

所以，虽然看似简单，但至少在多“针”任务上，“数星星”对模型长文本能力有着更为精准的体现。

那么，有哪些大模型最先接受了“数星星”测试呢？

GPT-4与Kimi难分高下

参加这场测试的大模型分别是GPT-4和国内以长文本能力而知名的大模型Kimi。

在“星星”数量和文本粒度均为32时，GPT-4的准确率达到了96.8%，Kimi则有86.4%。

但当“星星”增加到64颗时，Kimi则以93.1%的准确率超过了准确率为89.7%的GPT-4.

减少到16时，也是Kimi的表现略胜于GPT-4。

而划分的颗粒度也会对模型的表现造成一些影响，在“星星”同样出现32次时，颗粒度从32变为16，GPT-4的成绩有所上升，而Kimi则有所下降。

需要注意的是，在以上的测试中，“星星”的数量是依次递增的，但研究人员很快发现，这种情况下大模型很喜欢“偷懒”——

当模型发现星星数量是递增的的时候，即使区间内的数字是随机生成，也会引起大模型的敏感度增加。

例如：模型对3、9、10、24、1145、114514这样的递增序列会比24、10、3、1145、9、114514更加敏感

所以，研究人员又特意将数字的顺序进行了打乱，重新进行了一次测试。

结果在打乱之后，GPT-4和Kimi的表现都出现了明显下降，不过准确率仍在60%以上，两者相差8.6个百分点。

One More Thing

这个方法的准确性可能还需要时间检验，但不得不说名字起得真的很有一手。

△英文系同名歌曲Counting Stars歌词

网友也不禁感叹，现在关于大模型的研究，真的是越来越魔幻了。

但魔幻的背后，也体现出人们对于大模型长语境处理能力和性能的了解还不够充分。

就在前些天，先后有多家大模型厂商宣布推出能够处理超长文本的模型（虽然不全是基于上下文窗口实现），最高可达上千万，但实际表现还是未知数。

而Counting Stars的出现，或许正好有助于我们了解这些模型的真实表现。

那么，你还想看看哪些模型的测试成绩呢？

论文地址：
https://arxiv.org/abs/2403.11802
GitHub：
https://github.com/nick7nlp/Counting-Stars

3月17日，记者从陆军军医大学西南医院获悉，该院消化内科教授陈磊团队联合陆军军医大学教授张定林首次提出，活性氧响应性纳米材料能够把程序性死亡配体-1蛋白精准传递到肠道炎症部位，有效缓解肠炎 3月17日记者获悉，哈尔滨医科大学公共卫生学院副院长、教授田懋一与副研究员叶鹏鹏团队在一项研究中提出，应将预防老年人跌倒与国家基本公共卫生服务中各项服务流程融合起来。该研究全面梳理了记者19日从西北大学获悉，该校地质学系、大陆动力学国家重点实验室刘鹏副教授与中国地质大学（北京）李国武教授团队申请的两种新矿物，近日经国际矿物学学会新矿物命名与分类专业委员会审查、投票，均据中国科学院武汉植物园消息，我国科研人员在大别山区开展植物多样性科学考察时，发现了天门冬科天门冬属新物种，并将其命名为大别山天门冬。相关研究成果日前发表在国际知名植物分类学期刊《植物自2023年以来，人工智能的“触角”已延伸到生活的方方面面。其中，“人工智能+情感”的赛道正悄然崛起。目前，国内外已经出现了多款较为成熟的AI伴侣应用。不少网友在社交媒体上晒出了与自己“AI “啪嗒啪嗒......”一只机器狗在街上迈着规律的步伐，拉着牵引绳的盲人，在它的带领下越过沿路障碍，平稳地行走着，电子导盲犬能否取代传统导盲犬，解决视障人士一犬难求的困境？西工大团队在这方面开展。

本文链接：“大海捞针”out！“数星星”成测长文本能力更精准方法，来自鹅厂http://www.sushuapos.com/show-2-4493-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：易点天下受邀参与AWS出海全球化论坛，以AI+数据破局泛娱乐出海新增长

下一篇：阿里7B多模态文档理解大模型拿下新SOTA｜开源

“大海捞针”out！“数星星”成测长文本能力更精准方法，来自鹅厂

比“大海捞针”更加精准

GPT-4与Kimi难分高下

One More Thing

热门资讯

推荐资讯

科技最热文章