快讯科技财经汽车社会旅游娱乐时尚健康生活科学教育

热搜： 2026除甲醛人工智能重名创优品(0 跑出全国首机器狗首进国泰海通资香港愉景湾正规POS机

首页 > 科技

新测试基准发布，最强开源Llama 3分数骤降，差距拉开了

发布时间: 2024-04-23 09:07:34 来源：量子位

观看：228

大模型竞技场人类真实数据

如果试题太简单，学霸和学渣都能考90分，拉不开差距……

随着Claude 3、Llama 3甚至之后GPT-5等更强模型发布，业界急需一款更难、更有区分度的基准测试。

大模型竞技场背后组织LMSYS推出下一代基准测试Arena-Hard，引起广泛关注。

Llama 3的两个指令微调版本实力到底如何，也有了最新参考。

与之前大家分数都相近的MT Bench相比，Arena-Hard区分度从22.6%提升到87.4%，孰强孰弱一目了然。

Arena-Hard利用竞技场实时人类数据构建，与人类偏好一致率也高达89.1%。

除了上面两个指标都达到SOTA之外，还有一个额外的好处：

实时更新的测试数据包含人类新想出的、AI在训练阶段从未见过的提示词，减轻潜在的数据泄露。

并且新模型发布后，无需再等待一周左右时间让人类用户参与投票，只需花费25美元快速运行测试管线，即可得到结果。

有网友评价，使用真实用户提示词而不是高中考试来测试，真的很重要。

新基准测试如何运作？

简单来说，通过大模型竞技场20万个用户查询中，挑选500个高质量提示词作为测试集。

首先，挑选过程中确保多样性，也就是测试集应涵盖广泛的现实世界话题。

为了确保这一点，团队采用BERTopic中主题建模管道，首先使用OpenAI的嵌入模型（text-embedding-3-small）转换每个提示，使用 UMAP 降低维度，并使用基于层次结构的模型聚类算法 (HDBSCAN) 来识别聚类，最后使用GPT-4-turbo进行汇总。

同时确保入选的提示词具有高质量，有七个关键指标来衡量：

具体性：提示词是否要求特定的输出？
领域知识：提示词是否涵盖一个或多个特定领域？
复杂性：提示词是否有多层推理、组成部分或变量？
解决问题：提示词是否直接让AI展示主动解决问题的能力？
创造力：提示词是否涉及解决问题的一定程度的创造力？
技术准确性：提示词是否要求响应具有技术准确性？
实际应用：提示词是否与实际应用相关？

使用GPT-3.5-Turbo和GPT-4-Turbo对每个提示进行从 0 到 7 的注释，判断满足多少个条件。然后根据提示的平均得分给每个聚类评分。

高质量的问题通常与有挑战性的话题或任务相关，比如游戏开发或数学证明。

新基准测试准吗？

Arena-Hard目前还有一个弱点：使用GPT-4做裁判更偏好自己的输出。官方也给出了相应提示。

可以看出，最新两个版本的GPT-4分数高过Claude 3 Opus一大截，但在人类投票分数中差距并没有那么明显。

其实关于这一点，最近已经有研究论证，前沿模型都会偏好自己的输出。

研究团队还发现，AI天生就可以判断出一段文字是不是自己写的，经过微调后自我识别的能力还能增强，并且自我识别能力与自我偏好线性相关。

那么使用Claude 3来打分会使结果产生什么变化？LMSYS也做了相关实验。

首先，Claude系列的分数确实会提高。

但令人惊讶的是，它更喜欢几种开放模型如Mixtral和零一万物Yi，甚至对GPT-3.5的评分都有明显提高。

总体而言，使用Claude 3打分的区分度和与人类结果的一致性都不如GPT-4。

所以也有很多网友建议，使用多个大模型来综合打分。

除此之外，团队还做了更多消融实验来验证新基准测试的有效性。

比如在提示词中加入“让答案尽可能详尽”，平均输出长度更高，分数确实会提高。

但把提示词换成“喜欢闲聊”，平均输出长度也有提高，但分数提升就不明显。

此外在实验过程中还有很多有意思的发现。

比如GPT-4来打分非常严格，如果回答中有错误会狠狠扣分；而Claude 3即使识别出小错误也会宽大处理。

对于代码问题，Claude 3倾向于提供简单结构、不依赖外部代码库，能帮助人类学习编程的答案；而GPT-4-Turbo更倾向最实用的答案，不管其教育价值如何。

另外即使设置温度为0，GPT-4-Turbo也可能产生略有不同的判断。

从层次结构可视化的前64个聚类中也可以看出，大模型竞技场用户的提问质量和多样性确实是高。

这里面也许就有你的贡献。

Arena-Hard GitHub：
https://github.com/lm-sys/arena-hard
Arena-Hard HuggingFace：
https://huggingface.co/spaces/lmsys/arena-hard-browser
大模型竞技场：
https://arena.lmsys.org

参考链接：
[1]https://x.com/lmsysorg/status/1782179997622649330
[2]https://lmsys.org/blog/2024-04-19-arena-hard

今年全国两会期间，人工智能成为热点话题，“人工智能+”首次被写入政府工作报告。一头连着数字经济发展大局，一头连着行业变革与创新，“人工智能+”既是新质生产力发展的“新引擎”，也是产业和消费　　239万的无人驾驶航空器淘宝上架，人人可以“打飞的”还有多远　　239万元/架的无人驾驶载人航空器也看上了电商渠道。　　3月18日，亿航智能设备(广州)有限公司(下称“亿航智能”)在淘宝上架了其生产的EH216-S无人驾据阿根廷布宜诺斯艾利斯经济新闻网报道，一项国际研究发现，阿尔茨海默病的早期症状可能表现在视力上。研究显示，即便眼科检查结果正常，但阅读、估计距离和触及物体的困难都是可能揭示阿尔茨海默病记者3月21日从中国科学技术大学获悉，该校物理学院张斗国教授课题组，提出并实现了一种基于矢量光场调控原理的动量空间偏振滤波器件。该滤波器件安装于传统无标记光学显微镜后，可采集到单个纳米 3月22日，中国互联网络信息中心（CNNIC）在京发布第53次《中国互联网络发展状况统计报告》。报告显示，截至2023年12月，我国网民规模达10.92亿人，互联网普及率达77.5%；网络基础设施建设持续加强，新型消费记者从中国气象局了解到，3月24日、25日和26日三天，将可能出现地磁活动，其中3月25日可能发生中等以上地磁暴甚至大地磁暴，预计地磁活动将持续到26日。在此影响之下，空间站可能因大气拖拽造成轨道高。

本文链接：新测试基准发布，最强开源Llama 3分数骤降，差距拉开了http://www.sushuapos.com/show-2-5256-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇： 14款生成式AI应用版权合规实测：谁在混沌中摸到了秩序的轮廓？｜AI版权战事④

下一篇：印象笔记唐毅：AI如何升级你的“第二大脑”｜中国AIGC产业峰会

新测试基准发布，最强开源Llama 3分数骤降，差距拉开了

新基准测试如何运作？

新基准测试准吗？

热门资讯

推荐资讯

科技最热文章